AWS Glue를 사용할 때 ThrottlingException 또는 비율 초과 오류를 방지하려면 어떻게 해야 합니까?

2분 분량

AWS Glue API를 호출하면 요금이 초과되었다는 ThrottlingException 오류 메시지가 표시됩니다.

간략한 설명

AWS Glue API를 요청할 때 다음 중 하나와 비슷한 오류가 발생할 수 있습니다.

"Error Code: ThrottlingException; Request ID: 07512ede-123f-49c8-8933-1298742297b9; Proxy: null)" } }{ "taskSubmitFailedEventDetails": { "resourceType": "glue", "resource": "startJobRun.sync", "error": "Glue.AWSGlueException", "cause": "Rate exceeded (Service: AWSGlue; Status Code: 400;"
"TaskSubmitFailed": {"resourceType": "glue", "resource": "startJobRun.sync", "error": "Glue.AWSGlueException", "cause": "Rate exceeded (Service: AWSGlue; Status Code: 400; Error Code: ThrottlingException; Request ID: 70ea5ab7-2bb8-4a47-b957-799ef46c129e; Proxy: null)" }"
"botocore.exceptions.ClientError: An error occurred (ThrottlingException) when calling the GetCrawler operation (reached max retries: 4): Rate exceeded cause": "Rate exceeded (Service: AWSGlue; Status Code: 400; Error Code: ThrottlingException; Request ID: 70ea5ab7-2bb8-4a47-b957-799ef46c129e; Proxy: null)"

AWS Glue API 요청은 서비스 성능을 높이기 위해 리전별로 AWS 계정에 대한 제한이 적용됩니다. 자세한 내용은 AWS Glue 엔드포인트 및 할당량을 참조하세요.

다음 모범 사례에 따라 ThrottlingException 또는 비율 초과 오류를 완화합니다.

API 호출 빈도를 줄입니다.
한 번에 모두 실행되지 않도록 API 호출 간격을 설정합니다.
둘 이상의 값을 반환하는 API를 사용합니다. 예를 들어 GetPartitions는 한 번의 API 호출로 1,000개의 값 호출을 지원합니다. 마찬가지로 GetTables은 한 번의 API 호출로 100개의 파라미터 호출을 지원합니다.
API를 호출할 때 오류 재시도 및 지수 백오프를 구현합니다.
AWS CloudTrail 콘솔을 사용하여 특정 기간 동안 어떤 API 호출이 전송되고 몇 건의 API 호출이 전송되었는지 확인합니다.

이러한 문제 해결 단계를 시도했지만 여전히 비율이 초과됨 오류가 발생하는 경우 서비스 할당량 증가를 요청하십시오.

참고: 할당량 증가 요청을 제출하기 전에 오류를 일으킨 API 호출과 호출 비율을 확인하세요.