Pourquoi ne puis-je pas accéder à mon cluster Amazon EMR ?

Résolution

Règles de groupe de sécurité Amazon EMR incorrectes

Pour résoudre ce problème, prenez les mesures suivantes :

• Vérifiez que les règles du groupe de sécurité géré par Amazon EMR sont correctes pour les utilisateurs internes et externes et pour les applications.
• Autorisez le protocole TCP sur le port 8443 afin que le gestionnaire de cluster puisse communiquer avec le nœud primaire du cluster.
• Autorisez SSH sur le port 22 afin de pouvoir utiliser SSH pour vous connecter au cluster.

Configuration incorrecte pour les clusters Amazon EMR dans un sous-réseau privé

Pour résoudre ce problème, prenez les mesures suivantes :

• Ajoutez un groupe de sécurité géré pour l'accès au service. Les règles du groupe de sécurité doivent permettre au gestionnaire de cluster de communiquer avec les nœuds du cluster.
• Si vous utilisez un hôte bastion, configurez le groupe de sécurité de l'hôte bastion pour autoriser le trafic entrant en provenance du système client. Configurez également les groupes de sécurité du cluster Amazon EMR pour autoriser le trafic entrant en provenance de l'hôte bastion.

Remarque : Les réglages de la configuration réseau varient. Assurez-vous donc de configurer correctement la connexion de bout en bout sans trous noirs.

Configuration d'authentification incorrecte

Vérifiez si la configuration de l'authentification utilise une paire de clés Amazon Elastic Compute Cloud (Amazon EC2) ou Kerberos. Configurez ensuite correctement votre configuration d'authentification.

Contraintes liées aux ressources dans le nœud de cluster

Pour résoudre ce problème, prenez les mesures suivantes :

• Vérifiez que le nœud primaire sous-jacent existe et qu'il est en cours d’exécution.
• Consultez le journal d'état de l'instance du nœud primaire pour déterminer comment vous utilisez les ressources.
  Exécutez la commande suivante pour rechercher le principal utilisateur du processeur :

  ps auxwww --sort -%cpu | head -10

  Exécutez la commande suivante pour vérifier les performances du noyau :

  dmesg | tail -n 25

  Exécutez la commande suivante pour vérifier l'utilisation de la mémoire :

  free -m

  Exécutez la commande suivante pour vérifier l'état du disque :

  df -h

Le contrôleur d'instance du nœud primaire n'est pas en cours d'exécution

Assurez-vous que le contrôleur d'instance du nœud primaire est en cours d'exécution. Le contrôleur d'instance est le démon qui s'exécute sur les nœuds du cluster et communique avec le plan de contrôle Amazon EMR et le reste du cluster.

Exécutez la commande suivante pour vérifier le statut du contrôleur d'instance sur les versions 5.30.0 et ultérieures d'Amazon EMR :

sudo systemctl status instance-controller

Si le contrôleur d'instance n'est pas actif, exécutez la commande suivante pour démarrer le contrôleur d'instance :

sudo systemctl start instance-controller

Pour vérifier le statut du contrôleur d'instance et démarrer le contrôleur d'instance sur les versions précédentes d'Amazon EMR, consultez la section Comment redémarrer un service dans Amazon EMR ?