如何在 Amazon Bedrock 中优化批量推理作业？

解决方法

批量作业的执行时间取决于可用容量、队列中的并发作业数量以及特定于模型的资源分配。使用以下解决方法在 Amazon Bedrock 中优化您的批量推理作业。

提供简单而完整的输入提示

要缩短作业处理时间并提高结果质量，请创建清晰简洁的提示，不包含不必要的上下文。

请勿超过服务配额

如果您并行运行多个批量推理作业，请确保其不超过不同模型和 AWS 区域的不同服务配额。

有关大规模项目的详细信息，请参阅 Automate Amazon Bedrock batch inference: Building a scalable and efficient pipeline（自动化 Amazon Bedrock 批量推理：构建可扩展且高效的管道）。

计划作业在非高峰时段运行

使用 Amazon EventBridge 计划批量推理作业在资源可用性可能更高的非高峰时段运行。

使用跨区域推理

在 CreateModelInvocationJob API 请求中使用跨区域推理配置文件以跨区域分配工作负载。