Amazon EMR에서 모니터링 스크립트를 실행할 때 "비율 초과" ThrottlingException 오류를 방지하려면 어떻게 해야 합니까?

간략한 설명

Amazon EMR은 시스템 안정성을 유지 관리하기 위해 API 호출을 조절합니다. 일반적으로 조절 예외는 클러스터에서 파라미터를 확인하기 위해 정기적으로 모니터링 스크립트를 실행할 때 발생합니다. 다음은 예입니다. 클러스터가 WAITYN 상태에 도달했는지 확인하기 위해 60초마다 DescribeCluster를 호출합니다. 클러스터가 많고 실행하는 모니터링 스크립트가 많을수록 조절 오류가 발생할 가능성이 큽니다.

해결 방법

조절 오류를 방지하려면:

• API 호출 빈도를 줄입니다.
• 한 번에 모두 실행되지 않도록 API 호출 간격을 겹치지 않게 설정합니다.
• API 호출을 수행할 때 지수 백오프를 구현합니다.
• 이벤트 기반 아키텍처로 전환하는 것을 고려해 보십시오.

제한 오류의 원인을 이해하려면 AWS CloudTrail을 사용하여 이벤트 기록을 추적합니다. CloudTrail은 다음과 같은 이벤트 세부 정보를 식별하는 데 도움이 될 수 있습니다.

• 잦은 API 호출
• 속도 초과 오류 및 관련 API 호출
• API 호출 트리거의 주체가 사용자이지 자동화인지 여부

---

관련 정보

공통 오류

워크로드에서 API 제한 관리 및 모니터링

CloudTrail 작동 방식