Amazon EMR에서 오토 스케일링을 구성하려면 어떻게 해야 합니까?

해결 방법

Amazon EMR에서 오토 스케일링을 구성하려면 다음 단계를 완료합니다.

Amazon EMR 버전 5.30.0, 6.1.0 이상

Amazon EMR 5.30.0 이상(Amazon EMR 버전 6.0.0 제외)을 사용하는 경우 다음 방법 중 하나를 사용하여 오토 스케일링을 구성합니다.

• Amazon EMR 관리형 스케일링을 켜면 워크로드를 기반으로 클러스터의 인스턴스 또는 유닛 수를 자동으로 늘리거나 줄일 수 있습니다. 자세한 내용은 Amazon EMR의 관리형 스케일링 구성을 참조하십시오.
• 인스턴스 그룹에 대한 사용자 지정 정책과 함께 오토 스케일링을 사용하십시오.

Amazon EMR 버전 4.0.0 이상

사용자 지정 정책을 통한 오토 스케일링은 인스턴스 그룹 구성에서 사용할 수 있지만 인스턴스 플릿을 사용하는 경우에는 사용할 수 없습니다. 자세한 내용은 인스턴스 그룹에 대한 사용자 지정 정책과 함께 오토 스케일링 사용을 참조하십시오.

Amazon EMR에서 오토 스케일링에 대한 Amazon CloudWatch 지표를 사용하려면 CloudWatch를 사용한 Amazon EMR 지표 모니터링을 참조하십시오. 오토 스케일링에 사용할 권장 지표는 다음과 같습니다.

• YarnMemoryAvailablePercentage: 이 지표는 YARN에 사용할 수 있는 메모리의 비율을 나타냅니다.
• ContainerPendingRatio: 이 지표는 보류 중인 컨테이너와 할당된 컨테이너의 비율을 나타냅니다. 이 지표를 사용하여 다양한 로드에 대한 컨테이너 할당 동작을 기반으로 클러스터를 스케일링합니다.

조정 정책이 인스턴스 그룹에 연결되었는지 확인하려면 Amazon EMR 콘솔을 열고 왼쪽 탐색 창에서 이벤트를 선택합니다. 이후 오토 스케일링 정책 이벤트를 선택합니다.

관련 정보

Amazon EMR 클러스터 스케일링을 사용하여 변화하는 워크로드에 맞춰 조정