Bedrock FM API chunk token streaming

0

I notice when I use titan and claude with streaming. The results come out in chunk, compared to one token at a time. Is there a way to control the chunk size, or it is determined in real-time on your side.

Thanks!

Sujets

Machine Learning et AI L’IA générative sur AWS

Balises

Langue

English

demandé il y a 6 mois349 vues

1 réponse

Le plus récent
Le plus de votes
La plupart des commentaires

1

Currently there is no way to control the length of the chunking responses. More details on what parameters you can control are available in the documentation at InvokeModelWithResponseStream and Inference parameters for foundation models

EXPERT

Francis Flannery

répondu il y a 6 mois

Contenus pertinents

My account is not recognized
juan ortega
demandé il y a un an
Bedrock Titan completionReason CONTENT_FILTERED
Trento58
demandé il y a 2 mois
the logon attempt failed
rePost-User-7377810
demandé il y a un an
[ACTION REQUIRED] Update your TLS connections to 1.2 : quelles applications sont concernées ?
rePost-User-7550145
demandé il y a un an
Comment résoudre l'erreur AWS STS « the security token included in the request is expired » (le jeton de sécurité inclus dans la demande a expiré) lorsque j'utilise l'AWS CLI pour assumer un rôle IAM ?
AWS OFFICIELA mis à jour il y a 2 ans
Pourquoi ma ressource proxy API Gateway dotée d'un mécanisme d'autorisation Lambda dont la mise en cache est activée renvoie-t-elle des erreurs HTTP 403 « User is not authorized to access this resource » (L'utilisateur n'est pas autorisé à accéder à cette ressource) ?
AWS OFFICIELA mis à jour il y a 2 ans
Comment résoudre l'erreur « The final policy size is bigger than the limit » de Lambda ?
AWS OFFICIELA mis à jour il y a 2 ans
Pourquoi le message d’erreur « The snapshot is currently in use by an AMI » s’affiche-t-il lorsque je tente de supprimer mon instantané Amazon EBS ?
AWS OFFICIELA mis à jour il y a 5 mois