Amazon EMR에서 자동 조정을 구성하려면 어떻게 해야 합니까?

2분 분량
0

Amazon EMR 클러스터에서 Amazon Elastic Compute Cloud(Amazon EC2) Auto Scaling을 사용하고 싶습니다.

간략한 설명

  • Amazon EMR 버전 5.30.0, 6.1.0 이상: Amazon EMR 관리형 조정을 사용합니다. 또는 인스턴스 그룹에 대한 사용자 지정 정책을 통해 자동 조정을 사용합니다.
  • Amazon EMR 버전 4.0.0~5.29.0 및 6.0.0: 인스턴스 그룹에 대한 사용자 지정 정책을 통해 자동 조정을 사용합니다.

해결 방법

Amazon EMR 버전 5.30.0, 6.1.0 이상

Amazon EMR 5.30.0, 6.1.0 또는 이후 버전을 사용하는 경우, 자동 조정을 위한 2가지 옵션이 있습니다. Amazon EMR 관리형 조정을 활성화하면 워크로드에 따라 클러스터의 인스턴스 또는 유닛 수를 자동으로 늘리거나 줄일 수 있습니다. 또는 다음 단원에 설명된 대로 인스턴스 그룹에 대한 사용자 지정 정책을 통해 자동 조정을 사용합니다.

Amazon EMR 버전 4.0.0 이상

  1. 인스턴스 그룹에 대한 사용자 지정 정책을 통해 자동 조정 사용하기 단계를 따릅니다. Amazon EMR에서 자동 조정에 사용할 수 있는 Amazon CloudWatch 지표에 대한 자세한 내용은 CloudWatch를 통한 지표 모니터링을 참조하세요. 다음은 자동 조정을 위해 일반적으로 사용하는 2가지 지표입니다.
    YarnMemoryAvailablePercentage: YARN에서 사용 가능한 남은 메모리 백분율입니다.
    ContainerPendingRatio: 할당된 컨테이너 대비 보류 중인 컨테이너의 비율입니다. 이 지표를 사용하여 다양한 로드에 대한 컨테이너 할당 동작을 기반으로 클러스터를 확장할 수 있습니다. 이 기능은 성능 튜닝에 유용합니다.
  2. 조정 정책이 인스턴스 그룹에 연결되어 있는지 확인하려면 탐색 창에서 [ 이벤트(Events) ]를 선택합니다.
  3. 자동 조정 정책 이벤트를 확인합니다.

관련 정보

클러스터 리소스 크기 조정

AWS 공식
AWS 공식업데이트됨 일 년 전