Comment résoudre les problèmes de connectivité avec mon bloc-notes Amazon EMR ?

Brève description

Lorsque vous vous connectez à votre bloc-notes Amazon EMR, vous pouvez recevoir des erreurs similaires aux suivantes :

• L'espace de travail (bloc-notes) est arrêté. Erreur interne.
• L'espace de travail (bloc-notes) peut désormais être utilisé en mode local.
• Le bloc-notes est arrêté. La fonction du service ne dispose pas des autorisations requises.
• Le bloc-notes est arrêté. Le groupe de sécurité pour ordinateurs portables sg-xxxxxxxx n'a pas de règle de sortie pour se connecter au groupe de sécurité principal sg-yyyyyy. Corrigez le groupe de sécurité ou utilisez l'option par défaut.
• Le bloc-notes est arrêté. Le groupe de sécurité pour ordinateurs portables sg-xxxxxxx ne doit pas avoir de règles d'entrée. Corrigez le groupe de sécurité ou utilisez l'option par défaut.

Solution

Vérifiez la fonction du service dans les blocs-notes EMR

1.    Vérifiez que le rôle AWS Identity and Access Management (IAM) du bloc-notes possède les autorisations minimales requises. Pour plus d'informations, consultez la section Fonction du service pour les blocs-notes EMR.

2.    Vérifiez que le bloc-notes possède toutes les autorisations contenues dans AmazonElasticMapReduceEditorsRole. Utilisez la politique gérée par AWS S3FullAccessPolicy pour un accès complet à Amazon Simple Storage Service (Amazon S3). Pour plus d'informations, consultez la politique gérée par AWS : Amazon S3FullAccess.

3.    Supprimez toutes les restrictions d'autorisation de la politique de compartiment associée au compartiment S3 dans lequel se trouve le bloc-notes.

Vérifiez les groupes de sécurité dans les blocs-notes EMR

1.    Vérifiez que le groupe de sécurité utilisé pour votre bloc-notes possède au moins les règles minimales requises. Pour plus d'informations, consultez Spécification de groupes de sécurité EC2 pour les blocs-notes EMR.

2.    Il est recommandé d'utiliser différents groupes de sécurité pour le cluster EMR et le bloc-notes EMR. Les groupes de sécurité du bloc-notes et du cluster ont des exigences différentes en matière de règles entrantes et sortantes.

Le groupe de sécurité pour bloc-notes ElasticMapReduceEditors-Editor possède une règle de sortie qui permet la connexion au groupe de sécurité principal ElasticMapReduceEditors-Livy. Cette connexion utilise le protocole TCP/18888. Supprimez toutes les règles sortantes ajoutées dans le groupe de sécurité des blocs-notes ElasticMapReduceEditors-Editor, routage vers 0.0.0.0/0.

Le groupe de sécurité principal ElasticMapReduceEditors-Livy possède une règle d'entrée qui permet de se connecter au groupe de sécurité pour bloc-notes ElasticMapReduceEditors-Editor. Cette connexion utilise le protocole TCP/18888. Supprimez toutes les règles entrantes ajoutées dans le groupe de sécurité principal ElasticMapReduceEditors-Livy (routage vers 0.0.0.0/0).

Exigences relatives au cluster EMR

1.    Vérifiez que le cluster connecté est compatible et répond à toutes les exigences du cluster.

2.    Lorsque l'usurpation d'identité Livy est activée, vérifiez que hadoop-httpfs est en cours d'exécution sur le nœud principal du cluster EMR.

Utilisez la commande suivante pour vérifier l'état de hadoop-httpfs :

$ sudo systemctl status hadoop-httpfs

Utilisez la commande suivante pour activer hadoop-httpfs :

$ sudo systemctl start hadoop-httpfs