Amazon EMR에서 "Failed to start the job flow due to an internal error" 오류를 해결하려면 어떻게 해야 합니까?

해결 방법

Amazon EMR의 Failed to start the job flow due to an internal error 오류를 해결하려면 클러스터를 다시 시작하십시오. 오류가 계속 나타나면 다음 단계를 완료하십시오.

Amazon EMR 서비스 역할에 대한 권한 확인

EMR_DefaultRole_V2 Amazon EMR 서비스 역할에 지정된 AWS Key Management Service(AWS KMS) 키를 사용할 권한이 있는지 확인합니다. Amazon EMR 클러스터를 시작하려면 Amazon EMR 서비스 역할에 다음과 같은 권한이 있어야 합니다.

{  "Version": "2012-10-17",
  "Statement": [{
    "Sid": "EmrDiskEncryptionPolicy",
    "Effect": "Allow",
    "Action": [
      "kms:Encrypt",
      "kms:Decrypt",
      "kms:ReEncrypt*",
      "kms:CreateGrant",
      "kms:GenerateDataKeyWithoutPlaintext",
      "kms:DescribeKey"
    ],
    "Resource": [
      "arn:aws:kms:us-west-2:<account-id>:key/<key-id>"
    ]
  }]
}

Amazon EMR 클러스터 인스턴스에 오류가 발생하면 연결 시간 초과 오류가 발생할 수 있습니다.

연결 시간 초과 오류를 해결하려면 다음 단계를 완료하십시오.

1. Amazon Elastic Compute Cloud(Amazon EC2) 콘솔을 엽니다.
2. 종료된 Amazon EC2 노드를 선택합니다.
   참고: 종료된 노드는 Amazon EC2 콘솔에서 1~2시간 동안 사용할 수 있습니다.
3. 작업 드롭다운 목록에서 모니터링을 선택합니다.
4. 문제 해결을 선택한 다음 시스템 로그 가져오기를 선택합니다.
5. 시스템 로그를 검토하여 문제를 확인합니다.

Amazon VPC 서브넷 경로 확인

클러스터에서 사용하는 데이터 소스에 대해 Amazon Virtual Private Cloud(Amazon VPC) 서브넷 경로가 올바르게 구성되어 있는지 확인합니다. 자세한 내용은 Amazon EMR 클러스터를 호스팅할 VPC 설정을 참조하십시오.

보안 그룹 확인

서브넷에 대해 프라이머리, 코어 및 작업 보안 그룹이 올바르게 구성되어 있는지 확인합니다. 자세한 내용은 Amazon EMR 관리형 보안 그룹 사용을 참조하십시오. 또한 기본 Amazon EMR 역할과 인스턴스 프로파일 역할에서 필요한 모든 작업을 허용해야 합니다. Amazon VPC 서브넷 경로, 보안 그룹 및 역할을 구성한 후 새 클러스터를 시작합니다.

관련 정보

VPC에서 Amazon EMR을 위한 네트워킹 구성