Je n'arrive pas à me connecter à mon cluster Amazon EMR.
Résolution
Règles de groupe de sécurité Amazon EMR incorrectes
Pour résoudre ce problème, prenez les mesures suivantes :
- Vérifiez que les règles du groupe de sécurité géré par Amazon EMR sont correctes pour les utilisateurs internes et externes et pour les applications.
- Autorisez le protocole TCP sur le port 8443 afin que le gestionnaire de cluster puisse communiquer avec le nœud primaire du cluster.
- Autorisez SSH sur le port 22 afin de pouvoir utiliser SSH pour vous connecter au cluster.
Configuration incorrecte pour les clusters Amazon EMR dans un sous-réseau privé
Pour résoudre ce problème, prenez les mesures suivantes :
- Ajoutez un groupe de sécurité géré pour l'accès au service. Les règles du groupe de sécurité doivent permettre au gestionnaire de cluster de communiquer avec les nœuds du cluster.
- Si vous utilisez un hôte bastion, configurez le groupe de sécurité de l'hôte bastion pour autoriser le trafic entrant en provenance du système client. Configurez également les groupes de sécurité du cluster Amazon EMR pour autoriser le trafic entrant en provenance de l'hôte bastion.
Remarque : Les réglages de la configuration réseau varient. Assurez-vous donc de configurer correctement la connexion de bout en bout sans trous noirs.
Configuration d'authentification incorrecte
Vérifiez si la configuration de l'authentification utilise une paire de clés Amazon Elastic Compute Cloud (Amazon EC2) ou Kerberos. Configurez ensuite correctement votre configuration d'authentification.
Contraintes liées aux ressources dans le nœud de cluster
Pour résoudre ce problème, prenez les mesures suivantes :
Le contrôleur d'instance du nœud primaire n'est pas en cours d'exécution
Assurez-vous que le contrôleur d'instance du nœud primaire est en cours d'exécution. Le contrôleur d'instance est le démon qui s'exécute sur les nœuds du cluster et communique avec le plan de contrôle Amazon EMR et le reste du cluster.
Exécutez la commande suivante pour vérifier le statut du contrôleur d'instance sur les versions 5.30.0 et ultérieures d'Amazon EMR :
sudo systemctl status instance-controller
Si le contrôleur d'instance n'est pas actif, exécutez la commande suivante pour démarrer le contrôleur d'instance :
sudo systemctl start instance-controller
Pour vérifier le statut du contrôleur d'instance et démarrer le contrôleur d'instance sur les versions précédentes d'Amazon EMR, consultez la section Comment redémarrer un service dans Amazon EMR ?