跳至內容

使用 Amazon Bedrock 隨需資源時,如何疑難排解「ThrottlingException」錯誤?

2 分的閱讀內容
0

使用 Amazon Bedrock 隨需資源時,我收到「ThrottlingException」錯誤 (HTTP 狀態碼 429),我想對此進行疑難排解。

簡短說明

當您超過服務配額時,Amazon Bedrock 會拒絕您的請求。

Amazon Bedrock 會傳回「ThrottlingException」錯誤 (HTTP 狀態碼: 429),而用戶端會收到以下其中一則錯誤訊息:

  • 「Too many requests, please wait before trying again.You have sent too many requests.Wait before trying again.」
  • 「Your request rate is too high.Reduce the frequency of requests.」
  • 「Too many tokens, please wait before trying again.」

解決方法

注意: 如果執行 AWS Command Line Interface (AWS CLI) 命令時收到錯誤,請參閱疑難排解 AWS CLI 錯誤。此外,請確認您使用最新版本的 AWS CLI。

監控 AWS 服務配額

檢查您的 Amazon Bedrock 服務配額,確認用量是否超過配額。以 1 分鐘為間隔檢查 Amazon CloudWatch 指標,找出限流模式。如果用量在尖峰時段超過配額,即使先前的批次順利完成,資源仍可能遭到限流。若要確認應用程式的請求量未超過配額,請監控 InputTokenCount 和 Invocations 等 Amazon Bedrock 執行時期指標。

部分模型的每分鐘請求數 (RPM) 和每分鐘字符數 (TPM) 分別設有配額,Amazon Bedrock 會同時強制執行這兩項配額。

較新版本模型的配額可能與先前版本不同。

注意: Service Quotas 儀表板只顯示已設定的配額,不顯示即時用量。若要監控即時用量,請使用 CloudWatch。

使用跨區域推論設定檔

使用跨區域推論設定檔,動態將流量路由至多個 AWS 區域,以提高每項請求的可用性,並改善高用量時段的效能。每個區域都有獨立的容量集區。若要避免某個區域的容量集區發生資源限流,請將請求分散至多個區域。

部分模型 (例如 Anthropic Claude 3.5 Sonnet) 在特定區域中必須使用跨區域推論設定檔。Anthropic Claude 4.5 Sonnet 等模型也提供全球推論設定檔,有助於應對非預期的流量突增。

如需更多資訊,請參閱 GitHub 網站上 amazon-bedrock-workshop 中的跨區域推論程式碼範例。

注意: 若要使用推論設定檔,您必須使用 Amazon Bedrock 支援的區域和模型。

申請提高配額

新 AWS 帳戶的初始配額可能低於預設配額。部分模型的固定配額無法調整。如果工作負載流量超過帳戶的隨需配額,請聯絡 AWS Support 或您的客戶經理,申請提高配額。AWS 可能會根據使用模式或服務需求調整預設配額。

請在請求中提供以下資訊:

  • 您要提高的配額名稱
  • 模型 ID
  • 您要提高配額的區域
  • 使用案例的簡要說明
  • 預估用量,包括平穩及尖峰時段的每分鐘字符數和請求數,以及每次請求的平均輸入和輸出字符數

使用佈建輸送量

如果您需要較高的輸送量,請購買佈建輸送量。

注意: 使用佈建輸送量會產生額外費用。如需佈建輸送量的定價資訊,請參閱Amazon Bedrock 定價中的定價模型區段。

如需使用佈建輸送量的詳細資訊,請參閱搭配 Amazon Bedrock 資源使用佈建輸送量。若要使用 AWS CLI 或 Python SDK 建立佈建輸送量,請參閱佈建輸送量的程式碼範例。

注意: 購買佈建輸送量前,請確認您使用的是 Amazon Bedrock 支援的區域和模型。

加入採用指數退避的重試機制

使用隨需模式時,Amazon Bedrock 會讓多個客戶共用容量集區。服務需求量偏高期間,即使請求未超過帳戶配額,資源仍可能遭到限流。此外,服務會自動管理所有使用者的容量分配。

最佳實務是使用採用指數退避的重試機制和隨機抖動。如果您使用 AWS SDK,請參閱重試行為。

達到每分鐘配額時,請確保重試退避時間涵蓋完整的 1 分鐘。請讓重試時間配合每 60 秒更新一次的配額週期。此外,請將請求分散在 1 分鐘內的不同秒數發出。

使用調適性重試模式的 Python 組態範例:

from botocore.config import Config

config = Config(
    retries={
        'max_attempts': 10,  # Default is 3
        'mode': 'adaptive'
    }
)
bedrock_runtime = boto3.client('bedrock-runtime', config=config)

解決「ServiceUnavailable」錯誤

「ServiceUnavailable」錯誤 (HTTP 狀態碼 503) 是由暫時性的容量限制所造成,而非超過配額。這項錯誤通常會自行消失,但關鍵工作負載可能需要調整架構。

檢查 AWS CloudTrail 日誌,確認是否同時收到「ServiceUnavailable」和「ThrottlingException」錯誤。

如果同時收到這兩項錯誤,請採取以下動作來解決「ServiceUnavailable」錯誤:

解決未超過配額卻意外遭到限流的問題

如果您遭到限流,但未超過服務配額,請採取以下動作:

AWS 官方已更新 1 年前