Come posso risolvere i problemi di connettività del notebook Amazon EMR?

3 minuti di lettura
0

Desidero risolvere i problemi di connettività del mio notebook Amazon EMR.

Breve descrizione

Quando ti connetti al notebook Amazon EMR, potresti visualizzare errori simili ai seguenti:

  • Workspace (notebook) is stopped. Internal Error. (L'area di lavoro (notebook) è stata arrestata. Errore interno).
  • Workspace (notebook) can now be used in local mode. (Ora l'area di lavoro (notebook) può essere utilizzata in modalità locale).
  • Notebook is stopped. Service Role does not have the required permissions. (Il notebook è stato arrestato. Il ruolo di servizio non dispone delle autorizzazioni richieste).
  • Notebook is stopped. Notebook security group sg-xxxxxxxx does not have an egress rule to connect with the master security group sg-yyyyyy. Please fix the security group or use the default option. (Il notebook è stato arrestato. Il gruppo di sicurezza del notebook sg-xxxxxxxx non dispone di una regola di uscita per connettersi al gruppo di sicurezza principale sg-yyyyyy. Correggere il gruppo di sicurezza o utilizzare l'opzione predefinita).
  • Notebook is stopped. Notebook security group sg-xxxxxxx should not have any ingress rules. Please fix the security group or use the default option. (Il notebook è stato arrestato. Il gruppo di sicurezza del notebook sg-xxxxxxx non dovrebbe avere regole di ingresso. Correggere il gruppo di sicurezza o utilizzare l'opzione predefinita).

Risoluzione

Verifica del ruolo di servizio nei notebook EMR

1.    Verifica che il ruolo AWS Identity and Access Management (IAM) del notebook disponga delle autorizzazioni minime richieste. Per ulteriori informazioni, consulta Ruolo di servizio per EMR Notebooks.

2.    Verifica che il notebook disponga di tutte le autorizzazioni contenute in AmazonElasticMapReduceEditorsRole. Utilizza la policy gestita da AWS S3FullAccessPolicy per l'accesso completo ad Amazon Simple Storage Service (Amazon S3). Per ulteriori informazioni, consulta Policy gestita da AWS: AmazonS3FullAccess.

3.    Rimuovi eventuali restrizioni di autorizzazione dalla policy del bucket allegata al bucket S3 in cui si trova il notebook.

Controlla i gruppi di sicurezza nei notebook EMR

1.    Verifica che il gruppo di sicurezza utilizzato per il notebook disponga almeno delle regole minime richieste. Per ulteriori informazioni, consulta Specifica dei gruppi di sicurezza EC2 per EMR Notebooks.

2.    È consigliabile utilizzare gruppi di sicurezza diversi per il cluster EMR e per il notebook EMR. I gruppi di sicurezza per il notebook e per il cluster hanno requisiti di regole in entrata e in uscita diversi.

Il gruppo di sicurezza del notebook ElasticMapReduceEditors-Editor ha una regola di uscita che consente la connessione al gruppo di sicurezza principale ElasticMapReduceEditors-Livy. Questa connessione utilizza tcp/18888. Rimuovi tutte le regole in uscita aggiunte nel gruppo di sicurezza del notebook ElasticMapReduceEditors-Editor con instradamento verso 0.0.0.0/0.

Il gruppo di sicurezza principale ElasticMapReduceEditors-Livy ha una regola di ingresso che consente la connessione al gruppo di sicurezza del notebook ElasticMapReduceEditors-Editor. Questa connessione utilizza tcp/18888. Rimuovi tutte le regole di ingresso aggiunte nel gruppo di sicurezza principale ElasticMapReduceEditors-Livy con instradamento verso 0.0.0.0/0.

Requisiti del cluster EMR

1.    Verifica che il cluster collegato sia compatibile e soddisfi tutti i requisiti del cluster.

2.    Quando la rappresentazione di Livy è attivata, verifica che hadoop-httpfs sia in esecuzione sul nodo principale del cluster EMR.

Per controllare lo stato di hadoop-httpfs, utilizza il seguente comando:

$ sudo systemctl status hadoop-httpfs

Per attivare hadoop-httpfs, utilizza il seguente comando:

$ sudo systemctl start hadoop-httpfs

AWS UFFICIALE
AWS UFFICIALEAggiornata un anno fa