Comment éviter les erreurs ThrottlingException ou Rate exceeded lors de l'utilisation d'AWS Glue ?

Lecture de 2 minute(s)
0

Lorsque j'appelle l'API AWS Glue, je reçois un message d'erreur ThrottlingException indiquant que mon taux est dépassé.

Brève description

Lorsque vous effectuez une demande d'API AWS Glue, vous pouvez recevoir une erreur similaire à l'une des suivantes :

  • "Error Code: ThrottlingException; Request ID: 07512ede-123f-49c8-8933-1298742297b9; Proxy: null)" } }{ "taskSubmitFailedEventDetails": { "resourceType": "glue", "resource": "startJobRun.sync", "error": "Glue.AWSGlueException", "cause": "Rate exceeded (Service: AWSGlue; Status Code: 400;"
  • "TaskSubmitFailed": {"resourceType": "glue", "resource": "startJobRun.sync", "error": "Glue.AWSGlueException", "cause": "Rate exceeded (Service: AWSGlue; Status Code: 400; Error Code: ThrottlingException; Request ID: 70ea5ab7-2bb8-4a47-b957-799ef46c129e; Proxy: null)" }"
  • "botocore.exceptions.ClientError: An error occurred (ThrottlingException) when calling the GetCrawler operation (reached max retries: 4): Rate exceeded cause": "Rate exceeded (Service: AWSGlue; Status Code: 400; Error Code: ThrottlingException; Request ID: 70ea5ab7-2bb8-4a47-b957-799ef46c129e; Proxy: null)"

Les demandes d'API AWS Glue sont limitées pour les comptes AWS par région afin d'améliorer les performances du service. Pour plus d'informations, consultez Quotas et points de terminaison AWS Glue.

Résolution

Suivez les bonnes pratiques suivantes pour atténuer les erreurs ThrottlingException ou dépassement du taux :

  • Réduisez la fréquence des appels d'API.
  • Échelonnez les intervalles entre vos appels d'API pour qu'ils ne s'exécutent pas tous simultanément.
  • Utilisez des API qui renvoient plus d'une valeur. Par exemple, GetPartitions prend en charge un appel de 1 000 valeurs avec un seul appel d'API. De même, GetTables prend en charge un appel de 100 paramètres avec un seul appel d'API.
  • Implémentez de nouvelles tentatives après erreur et le backoff exponentiel lorsque vous effectuez des appels d'API.
  • À l'aide de la console AWS CloudTrail, vérifiez quels appels d'API sont envoyés au cours d'une période donnée et combien d'entre eux.

Si vous avez essayé toutes les étapes de dépannage ci-dessus mais que vous recevez toujours des erreurs « Taux atteint », vous pouvez demander une augmentation des quotas de service.

Remarque : Avant de soumettre une demande d'augmentation de votre quota, identifiez l'appel d'API à l'origine de l'erreur et le taux d'appels.


Relevante Informationen

Häufige Fehler

AWS OFFICIEL
AWS OFFICIELA mis à jour il y a un an