Perché non riesco a raggiungere il mio cluster Amazon EMR?

Risoluzione

Regole errate del gruppo di sicurezza Amazon EMR

Per risolvere l’errore, intraprendi le seguenti azioni:

• Verifica che le regole del gruppo di sicurezza gestito Amazon EMR siano corrette sia per gli utenti interni che per le applicazioni e gli utenti esterni.
• Consenti il protocollo TCP sulla porta 8443 in modo che il gestore del cluster possa comunicare con il nodo principale del cluster.
• Consenti SSH sulla porta 22 in modo da poter utilizzare SSH per connetterti al cluster.

Configurazione errata per i cluster Amazon EMR in una sottorete privata

Per risolvere l’errore, intraprendi le seguenti azioni:

• Aggiungi un gruppo di sicurezza gestito per l'accesso ai servizi. Le regole del gruppo di sicurezza devono consentire al gestore del cluster di comunicare con i nodi del cluster.
• Se utilizzi un host bastione, configura il gruppo di sicurezza dell'host bastione per consentire il traffico in entrata dal sistema client. Inoltre, configura i gruppi di sicurezza del cluster Amazon EMR per consentire il traffico in entrata dall'host bastione.

Nota: le impostazioni di configurazione della rete variano, per cui assicurati di impostare correttamente la connessione end-to-end senza buchi neri.

Configurazione dell'autenticazione errata

Verifica se la configurazione dell'autenticazione utilizza una coppia di chiavi Amazon Elastic Compute Cloud (Amazon EC2) o Kerberos. Quindi imposta correttamente la configurazione dell'autenticazione.

Vincoli di risorse nel nodo del cluster

Per risolvere l’errore, intraprendi le seguenti azioni:

• Verifica che il nodo principale sottostante esista e sia in esecuzione.
• Controlla il log dello stato dell'istanza del nodo principale per determinare come stai utilizzando le risorse.
  Esegui questo comando per verificare l'utente principale della CPU:

  ps auxwww --sort -%cpu | head -10

  Esegui questo comando per verificare le prestazioni del kernel:

  dmesg | tail -n 25

  Esegui questo comando per controllare l'utilizzo della memoria:

  free -m

  Esegui questo comando per controllare l'utilizzo del disco:

  df -h

Il controller di istanza del nodo principale non è in esecuzione

Assicurati che il controller di istanza del nodo principale sia in esecuzione. Il controller di istanza è il daemon che viene eseguito sui nodi del cluster e comunica con il piano di controllo Amazon EMR e il resto del cluster.

Esegui questo comando per verificare lo stato del controller di istanza su Amazon EMR versioni 5.30.0 e successive:

sudo systemctl status instance-controller

Se il controller di istanza non è attivo, esegui questo comando per avviare il controller di istanza:

sudo systemctl start instance-controller

Per verificare lo stato e avviare il controller di istanza nelle versioni precedenti di Amazon EMR, consulta Come faccio a riavviare un servizio in Amazon EMR?