자동 종료 정책을 사용할 때 EMR 클러스터가 예상보다 일찍 종료되지 않거나 종료되지 않는 이유는 무엇인가요?

간략한 설명

EMR 클러스터를 생성하는 경우 자동 종료 정책을 켤 수 있습니다. 자동 종료 정책은 특정 유휴 시간이 지나면 클러스터를 종료합니다.

해결 방법

1.    Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스 프로파일 역할인 EMR_EC2_DefaultRole에 다음과 같은 권한이 있는지 확인합니다. EMR EC2 인스턴스 프로파일 역할에 이러한 권한이 없는 경우 클러스터는 유휴 시간 제한 요구 사항을 충족하더라도 활성 상태를 유지합니다.

{
    "Version": "2012-10-17",
    "Statement": {
        "Sid": "AllowAutoTerminationPolicyActions",
        "Effect": "Allow",
        "Action": [
            "elasticmapreduce:PutAutoTerminationPolicy",
            "elasticmapreduce:GetAutoTerminationPolicy",
            "elasticmapreduce:RemoveAutoTerminationPolicy"
        ],
        "Resource": "your-resources"
    }

Amazon EMR 버전 5.34~5.36 및 6.4.0 이상에서는 다음 조건에 해당하는 경우 클러스터가 유휴 상태입니다.

• 활성 YARN 애플리케이션이 없습니다.
• HDFS 사용률이 10% 미만입니다.
• 활성화된 EMR 노트북 또는 EMR Studio 연결이 없습니다.
• 사용 중인 클러스터 내 애플리케이션 사용자 인터페이스가 없습니다.

Amazon EMR 버전 5.30.05.33.1 및 6.1.06.3.0에서는 다음 조건에 해당하는 경우 클러스터가 유휴 상태입니다.

• 활성 YARN 애플리케이션이 없습니다.
• HDFS 사용률이 10% 미만입니다.
• 클러스터에는 활성 Spark 작업이 없습니다.

2.    지표 수집기 프로세스가 실행 중인지 확인합니다. 지표 수집기 프로세스는 지표를 수집하여 자동 종료를 결정합니다. 다음 명령을 실행하여 지표 수집기 프로세스를 확인합니다.

ps -ef|grep metrics-collector

-또는-

systemctl status metricscollector.service

자세한 내용은 Amazon EMR에서 서비스를 다시 시작하려면 어떻게 해야 하나요?를 참조하세요.

3.    자동 종료 정책을 사용하여 자동 종료를 설정하면 Amazon EMR은 1분 단위로 AutoTerminationClusterIdle Amazon CloudWatch 지표를 내보냅니다. 이 지표는 클러스터가 유휴 상태 요구 사항을 충족하는지 평가합니다. 이 지표에 “1"이 표시되면 클러스터가 유휴 상태입니다. “0"으로 표시되면 클러스터가 여전히 활성 상태입니다.

EMR 클러스터의 CloudWatch 지표를 확인하고 AutoTerminationisCluseterIdle CloudWatch 지표가 클러스터에서 계속 “1"인지 확인합니다. 계속 “1"이면 클러스터는 자동 종료 대상입니다.

---

관련 정보

자동 종료 정책 사용

CloudWatch를 통한 지표 모니터링