Come posso collegare il mio notebook Amazon EMR a un repository basato su Git?

2 minuti di lettura
0

Desidero collegare il mio notebook Amazon EMR a un repository basato su Git.

Risoluzione

**Nota:**i notebook Amazon EMR sono disponibili come Amazon EMR Studio Workspaces nella nuova console Amazon EMR.

Per creare un nuovo notebook Amazon EMR nella vecchia console e associare il notebook a un repository basato su Git, completa i seguenti passaggi:

  1. Crea una sottorete privata in un Amazon Virtual Private Cloud (Amazon VPC).
  2. Crea un gateway NAT, quindi aggiorna la tabella delle rotte in modo che punti al gateway NAT.
  3. Avvia un cluster Amazon EMR nella sottorete privata. Nella sezione Configurazione software, assicurati di selezionare una configurazione che includa Apache Spark, Apache Hadoop e Apache Livy.
  4. Quando aspetti che il cluster raggiunga lo stato WAITING, aggiungi il repository basato su Git.
  5. Per le credenziali Git, scegli Crea un nuovo segreto. Assicurati che il nome utente sia l'alias dell'account Git.
  6. Crea un gruppo di sicurezza personalizzato denominato ElasticMapReduceEditors-Editor con le seguenti regole in uscita:
    Per la regola 1, imposta Tipo su Regola TCP personalizzata, Protocollo su ** TCP**, Intervallo porte su 18888 e Destinazione su ElasticMapReduceEditors-Livy.
    Per la regola 2, imposta Tipo su HTTPS, Protocollo su TCP, Intervallo porte su 443 e Destinazione su 0.0.0.0/0.
  7. Aggiungi una regola in entrata al gruppo di sicurezza ElasticMapReduceEditors-Livy con le seguenti impostazioni:
    Tipo: Regola TCP personalizzata
    Protocollo: TCP
    Intervallo porte: 18888
    Destinazione: Inserisci il nome del tuo gruppo di sicurezza personalizzato.
  8. Modifica EMR_Notebooks_DefaultRole Amazon EMR notebooks service role per consentire l'azione secretsmanager:GetSecretValue.
  9. Crea un notebook Amazon EMR con le seguenti impostazioni del gruppo di sicurezza:
    Nella sezione Gruppi di sicurezza, seleziona Scegli gruppi di sicurezza.
    Per Gruppi di sicurezza per l'istanza principale, scegli ElasticMapReduceEditors-Livy.
    Per Gruppi di sicurezza per notebook, ad esempio, scegli il tuo gruppo di sicurezza personalizzato.
  10. Verifica che lo stato del repository basato su Git sia impostato su Collegato. Quando lo stato cambia in Collegato, puoi usare i repository Git nel tuo notebook.
AWS UFFICIALE
AWS UFFICIALEAggiornata 6 mesi fa