Perché il mio cluster Amazon EMR non è raggiungibile?

Breve descrizione

I motivi più comuni per cui il cluster EMR non è raggiungibile sono i seguenti:

• C'è un problema di autorizzazioni nelle regole del gruppo di sicurezza.
• La configurazione di rete non è corretta per i cluster forniti in una sottorete privata.
• C'è un problema con la configurazione dell'autenticazione del cluster.
• Esistono vincoli di risorse nei nodi del cluster.
• Il daemon del servizio Amazon EMR è stato interrotto.

Risoluzione

Regole del gruppo di sicurezza di Amazon EMR

1.    Verifica che le regole del gruppo di sicurezza siano corrette. Per ulteriori informazioni, consulta Utilizzo dei gruppi di sicurezza gestiti da Amazon EMR.

2.    Verifica che il protocollo TCP sulla porta 8443 sia consentito. La porta 8443 consente al gestore del cluster di comunicare con il nodo principale del cluster.

3.    Se stai tentando di connetterti al cluster attraverso SSH, verifica che SSH sulla porta 22 sia consentito.

4.     Se utenti o applicazioni esterni non sono in grado di raggiungere il cluster EMR, convalida le relative regole impostate nei gruppi di sicurezza gestiti. Convalida le regole anche nei gruppi di sicurezza aggiuntivi.

Cluster EMR in una sottorete privata

Oltre agli elementi menzionati nella sezione precedente, verifica quanto segue per i cluster EMR che si trovano in una sottorete privata:

1.    Verifica che sia stato aggiunto il gruppo di sicurezza gestito aggiuntivo per l'accesso al servizio. Verifica che le regole consentano al gestore del cluster di comunicare con i nodi del cluster. Per ulteriori informazioni, consulta Gruppo di sicurezza gestito da Amazon EMR per l'accesso ai servizi (sottoreti private).

2.    Se utilizzi un host bastione e non riesci a raggiungere Amazon EMR attraverso di esso, procedi come segue:

• Verifica che il gruppo di sicurezza dell'host bastione consenta il traffico in entrata dal sistema client.
• Verifica che i gruppi di sicurezza del cluster EMR consentano il traffico in entrata dall'host bastione.

Poiché le configurazioni di rete variano, assicurati che la connessione end-to-end sia impostata correttamente senza buchi neri.

Metodi di autenticazione

Per assicurarti che l'autenticazione sia impostata correttamente, procedi come segue:

1.    Se l'autenticazione utilizza una coppia di chiavi di Amazon Elastic Compute Cloud (Amazon EC2), verifica che sia stata creata e configurata correttamente. Per ulteriori informazioni, consulta Utilizzo di una coppia di chiavi Amazon EC2 per le credenziali SSH.

2.    Se l'autenticazione utilizza Kerberos, verifica che sia configurata correttamente. Per ulteriori informazioni, consulta Utilizzo dell'autenticazione Kerberos.

Vincoli di risorse nei nodi del cluster

1.    Verifica che il nodo principale sottostante sia in esecuzione e non sia stato terminato.

2.    Controlla il log di stato dell'istanza del nodo principale per determinare come vengono utilizzate le risorse.

Esegui il seguente comando per verificare l'utente principale della CPU:

ps auxwww --sort -%cpu | head -10

Esegui il seguente comando per verificare le prestazioni del kernel:

dmesg | tail -n 25

Esegui il seguente comando per verificare l'utilizzo della memoria:

free -m

Esegui il seguente comando per verificare l'utilizzo del disco:

df -h

Daemon del cluster EMR

Il controller dell'istanza (I/C) del nodo principale è il daemon che viene eseguito sui nodi del cluster. Il controller dell'istanza comunica con il piano di controllo di Amazon EMR e il resto del cluster. Esegui i seguenti comandi per assicurarti che sia in esecuzione:

Esegui il seguente comando per verificare lo stato del controller dell'istanza:

sudo systemctl status instance-controller

Esegui il seguente comando per avviare il controller dell'istanza:

sudo systemctl start instance-controller

---