Comment puis-je résoudre l'erreur « Failed to start the job flow due to an internal error » dans Amazon EMR ?

Résolution

Pour résoudre l'erreur Failed to start the job flow due to an internal error dans Amazon EMR, relancez le cluster. Si l'erreur persiste, procédez comme suit.

Vérifiez les autorisations pour le rôle de service Amazon EMR

Pour ces configurations, assurez-vous que le rôle de service Amazon EMR EMR_DefaultRole_V2 est autorisé à utiliser les clés AWS Key Management Service (AWS KMS) spécifiées. Pour lancer des clusters Amazon EMR, le rôle de service Amazon EMR doit disposer des autorisations suivantes :

{  "Version": "2012-10-17",
  "Statement": [{
    "Sid": "EmrDiskEncryptionPolicy",
    "Effect": "Allow",
    "Action": [
      "kms:Encrypt",
      "kms:Decrypt",
      "kms:ReEncrypt*",
      "kms:CreateGrant",
      "kms:GenerateDataKeyWithoutPlaintext",
      "kms:DescribeKey"
    ],
    "Resource": [
      "arn:aws:kms:us-west-2:<account-id>:key/<key-id>"
    ]
  }]
}

Si les instances du cluster Amazon EMR échouent, des erreurs d’expiration du délai de connexion peuvent s'afficher.

Pour résoudre les erreurs d’expiration du délai de connexion, procédez comme suit :

1. Ouvrez la console Amazon Elastic Compute Cloud (Amazon EC2).
2. Sélectionnez le nœud Amazon EC2 résilié.
   Remarque : Le nœud résilié est disponible pendant 1 à 2 heures sur la console Amazon EC2.
3. Dans la liste déroulante Actions, sélectionnez Surveiller.
4. Sélectionnez Résolution des problèmes, puis Obtenir le journal système.
5. Consultez votre journal système pour déterminer le problème.

Vérifiez les routages de vos sous-réseaux Amazon VPC

Assurez-vous que vos routages de sous-réseau Amazon Virtual Private Cloud (Amazon VPC) sont correctement configurés pour la source de données utilisée par votre cluster. Pour plus d'informations, consultez la section Configurer un VPC pour héberger des clusters Amazon EMR.

Vérifiez vos groupes de sécurité

Assurez-vous que les groupes de sécurité principal, de base et de tâche sont correctement configurés pour le sous-réseau. Pour plus d'informations, consultez la section Utilisation de groupes de sécurité gérés par Amazon EMR. Vous devez également autoriser toutes les actions requises dans les rôles Amazon EMR par défaut et dans le rôle de profil d'instance. Après avoir configuré les routages, les groupes de sécurité et les rôles de sous-réseaux Amazon VPC, lancez un nouveau cluster.

Informations connexes

Configurer la mise en réseau dans un VPC pour Amazon EMR