Amazon EMR で「内部エラーのためジョブフローの開始に失敗しました」というエラーを解決するにはどうすればいいですか。

簡単な説明

内部エラーは、多くの場合、迅速に解決されます。リクエストを再試行します。問題が解決しない場合は、クラスターのネットワーキングおよびセキュリティ設定が正しく設定されていることを確認してください。

解決方法

Amazon EMR コンソールを開き、クラスターの起動を再試行します。それでも、「内部エラーのためジョブフローの開始に失敗しました」というメッセージが表示される場合は、以下の設定を確認してください。

Amazon EMR サービスロールのアクセス許可

Amazon Elastic Block Store (Amazon EBS) のルートデバイスとストレージボリュームを暗号化するセキュリティ設定には、関連するアクセス権限が必要です。これらの設定では、Amazon EMR サービスロール (EMR_DefaultRole) に、指定された AWS Key Management Service (AWS KMS) キーを使用するアクセス許可があることを確認してください。

EMR クラスターを正常に起動するには、サービスロールに次のアクセス許可が必要です。

{
  "Version": "2012-10-17",
  "Statement": [{
    "Sid": "EmrDiskEncryptionPolicy",
    "Effect": "Allow",
    "Action": [
      "kms:Encrypt",
      "kms:Decrypt",
      "kms:ReEncrypt*",
      "kms:CreateGrant",
      "kms:GenerateDataKeyWithoutPlaintext",
      "kms:DescribeKey"
    ],
    "Resource": [
      "arn:aws:kms:us-west-2:<account-id>:key/<key-id>"
    ]
  }]
}

EMR クラスターインスタンスが失敗した場合、次のいずれかのエラーが表示されることがあります。

2022-10-17 15:59:24,736 attempt 12/1000: http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list
2022-10-17 15:59:34,741 exception: [Errno 12] Timeout on http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list: (28, 'Connection timed out after 10001 milliseconds')
2022-10-17 15:59:34,741 attempt 13/1000: http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list
2022-10-17 15:59:44,749 exception: [Errno 12] Timeout on http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list: (28, 'Connection timed out after 10000 milliseconds')

これらのエラーをトラブルシューティングするには、次の手順に従ってシステムログを確認してください。

1.    Amazon Elastic Compute Cloud (Amazon EC2) コンソールにログインします。

2.    クラスターの障害により終了した EC2 ノードを選択します。

        注: 終了したノードは、EC2 コンソールで 1 ～ 2 時間しか使用できません。

3.    [アクション] ドロップダウン リストを選択し、[モニタリング] を選択します。

4.    [トラブルシューティング] を選択し、[システムログの取得] を選択します。

仮想プライベートクラウド (VPC) サブネットルート

クラスターが使用しているデータソースに対して、VPC サブネットルートが正しく構成されていることを確認します。「VPC をセットアップしてクラスターをホストする」の手順に従います。

セキュリティグループ

マスターおよびコア/タスク セキュリティグループがサブネットに対して正しく設定されていることを確認します。詳細については、「Amazon EMR マネージドセキュリティグループの使用」を参照してください。

EMR クラスターで必要なすべてのアクションは、デフォルトの Amazon EMR ロールとインスタンスプロファイルロールでも許可されている必要があります。

VPC サブネットルート、セキュリティグループ、およびロールが設定されたら、新しいクラスターを起動します。

関連情報

ネットワーキングを設定する