Bedrock FM API chunk token streaming

0

I notice when I use titan and claude with streaming. The results come out in chunk, compared to one token at a time. Is there a way to control the chunk size, or it is determined in real-time on your side.

Thanks!

主题

机器学习和人工智能 AWS 上的生成式 AI

标签

语言

English

已提问 6 个月前348 查看次数

1 回答

最新
投票最多
评论最多

1

Currently there is no way to control the length of the chunking responses. More details on what parameters you can control are available in the documentation at InvokeModelWithResponseStream and Inference parameters for foundation models

专家

Francis Flannery

已回答 6 个月前

相关内容

How can I control the columns of AWS Billing CSV file?我应该如何控制AWS账单CSV文件中的字段呢？
rePost-User-1766999
已提问 1 年前
报错 : If Bucket contains '.' like part.txt in any url in rest api
专家
rePost Polyglot
已提问 6 个月前
i3 NVMe SSD驱动器默认加密吗？
专家
rePost Polyglot
已提问 6 个月前
How to use android sdk to create mqtt5 client
rePost-User-8512942
已提问 1 年前
使用 AWS CLI 代入 IAM 角色时，如何对 AWS STS 错误“the security token included in the request is expired”（请求中包含的安全令牌已过期）进行故障排除？
AWS 官方已更新 2 年前
如何解决通过 SES 发送电子邮件时出现的错误“SMTP server requires a secure connection or the client is not authenticated.The server response was: Authentication required”（SMTP 服务器需要安全连接或客户端未通过身份验证。服务器的响应是：需要身份验证）？
AWS 官方已更新 1 年前
在 Amazon EC2 上运行 Java 应用程序时，如何解决“The security token included in the request is expired”错误？
AWS 官方已更新 2 年前
如何解决 Lambda 中的“The final policy size is bigger than the limit”错误？
AWS 官方已更新 2 年前
保留不健康的 Auto Scaling 实例 -- 分离不健康的 ASG 实例而不是终止
支持工程师
Tim
已发布 1 个月前
如何找到大型语言模型的最佳模型大小以优化效果和成本
支持工程师
Tim
已发布 5 天前