如何最佳化 Amazon Bedrock 中的批次推論作業？

解決方法

批次作業執行時間取決於可用容量、佇列中的並行作業，以及特定模型的資源分配。使用以下解決方法來最佳化 Amazon Bedrock 中的批次推論作業。

提供簡單且完整的輸入提示

若要減少處理作業的時間並提高結果的品質，請建立清晰且簡潔的提示，並且不要包含不必要的上下文。

請勿超出服務配額

如果您並行執行多個批次推論作業，請確認它們不超過因模型和 AWS 區域而異的服務配額。

如需大型專案的更多資訊，請參閱自動化 Amazon Bedrock 批次推論： 建立可擴展且有效率的管道。

安排作業在非尖峰時段執行

使用 Amazon EventBridge 排程批次推論作業於非尖峰時段執行，此時資源可用性可能較高。

使用跨區域推論

在 CreateModelInvocationJob API 請求中使用跨區域推論設定檔，以將工作負載分散到多個區域。