Comment réparer une étape ayant échoué dans Amazon EMR ?

Brève description

Amazon EMR identifie et renvoie la cause principale de l'échec des étapes qui ont été envoyées grâce à l'exploitation de l'API Étape. Amazon EMR 5.x et les versions ultérieures renvoient également le nom du fichier journal concerné et une partie de la trace de la pile d'application via l'API.

Remarque : vous pouvez utiliser les informations suivantes pour réparer une étape Amazon EMR quelle que soit l'application. Pour en savoir plus sur les étapes Apache Spark ayant échoué, consultez Comment réparer une étape Spark en échec dans Amazon EMR ?

Solution

Remarque : pour une description des types de journaux d'étapes, consultez Vérifier les journaux d'étapes.

Afficher les journaux d'étapes à l'aide de la console de gestion AWS

Pour en savoir plus, consultez Pour afficher les détails de l'échec à l'aide de la console AWS dans Débogage amélioré des étapes.

Afficher les détails des étapes à l'aide d'AWS CLI

Remarque : si des erreurs se produisent lors de l'exécution des commandes de l'interface de la ligne de commande AWS (AWS CLI), assurez-vous d'utiliser la version la plus récente d'AWS CLI.

Utilisez la commande describe-step comme indiqué dans l'exemple suivant. Dans la commande suivante, remplacez cluster-id et step-id par les valeurs adaptées à votre cas d'utilisation.

aws emr describe-step --cluster-id j-1K48XXXXXHCB --step-id s-3QM0XXXXXM1W

Pour en savoir plus, consultez Pour afficher les détails de l'échec à l'aide d'AWS CLI dans Débogage amélioré des étapes.

Afficher les fichiers journaux des étapes sur le nœud principal à l'aide de SSH

Pour en savoir plus, consultez Afficher les fichiers journaux sur le nœud principal.

Afficher les fichiers journaux archivés dans Amazon S3

1.    Ouvrez la console Amazon Simple Storage Service (Amazon S3).

2.    Sélectionnez le compartiment S3 spécifié comme l'URI du journal S3 où sont archivés les fichiers journaux.

3.    Accédez au chemin suivant et téléchargez l'objet du fichier journal : cluster-id/steps/step-id/.

Pour en savoir plus, consultez Afficher les fichiers journaux archivés dans Amazon S3.

Afficher les journaux d'étapes dans l'outil de débogage

Remarque : l'outil de débogage n'est pas activé automatiquement dans Amazon EMR. Pour en savoir plus sur l'activation de l'outil de débogage, consultez Activer l'outil de débogage.

Pour en savoir plus sur l'affichage des journaux d'étapes dans l'outil de débogage, consultez Afficher les fichiers journaux dans l'outil de débogage.

---

Informations connexes

Comment annuler une étape Amazon EMR ?