Wie verknüpfe ich mein Amazon-EMR-Notebook mit einem Git-basierten Repository?

Behebung

Hinweis: Amazon-EMR-Notebooks sind als Amazon-EMR-Studio-Workspaces in der neuen Amazon-EMR-Konsole verfügbar.

Gehen Sie wie folgt vor, um ein neues Amazon-EMR-Notebook in der alten Konsole zu erstellen und das Notebook mit einem Git-basierten Repository zu verknüpfen:

1. Erstellen Sie ein privates Subnetz in einer Amazon Virtual Private Cloud (Amazon VPC).
2. Erstellen Sie ein NAT-Gateway und aktualisieren Sie dann Ihre Routing-Tabelle, sodass sie auf das NAT-Gateway verweist.
3. Starten Sie einen Amazon-EMR-Cluster im privaten Subnetz. Stellen Sie im Abschnitt Softwarekonfiguration sicher, dass Sie eine Konfiguration auswählen, die Apache Spark, Apache Hadoop und Apache Livy umfasst.
4. Wenn Sie darauf warten, dass der Cluster den Status WAITING erreicht, fügen Sie das Git-basierte Repository hinzu.
5. Wählen Sie für Git-Anmeldeinformationen Neues Geheimnis erstellen. Stellen Sie sicher, dass der Nutzername der Alias des Git-Kontos ist.
6. Erstellen Sie eine benutzerdefinierte Sicherheitsgruppe mit dem Namen ElasticMapReduceEditors-Editor mit den folgenden Regeln für ausgehenden Datenverkehr:
   Setzen Sie für Regel 1 den Typ auf Benutzerdefinierte TCP-Regel, das Protokoll auf TCP, den Portbereich auf 18888 und das Ziel auf ElasticMapReduceEditors-Livy.
   Setzen Sie für Regel 2 den Typ auf HTTPS, das Protokoll auf TCP, den Portbereich auf 443 und das Ziel auf 0.0.0.0/0.
7. Fügen Sie eine Regel für eingehenden Verkehr mit den folgenden Einstellungen zur Sicherheitsgruppe ElasticMapReduceEditors-Livy hinzu:
   Typ: Benutzerdefinierte TCP-Regel
   Protokoll: TCP
   Anschlussbereich: 18888
   Zielort: Geben Sie den Namen Ihrer benutzerdefinierten Sicherheitsgruppe ein.
8. Ändern Sie die Amazon-EMR-Notebooks-Servicerolle EMR_Notebooks_DefaultRole, um die Aktion secretsmanager:GetSecretValue zuzulassen.
9. Erstellen Sie ein Amazon-EMR-Notebook mit den folgenden Sicherheitsgruppeneinstellungen:
   Wählen Sie im Abschnitt Sicherheitsgruppen die Option Sicherheitsgruppen auswählen aus.
   Wählen Sie für Sicherheitsgruppen für die Master-Instance ElasticMapReduceEditors-Livy aus.
   Wählen Sie für Sicherheitsgruppen für Notebook-Instance Ihre benutzerdefinierte Sicherheitsgruppe aus.
10. Vergewissern Sie sich, dass sich der Status des Git-basierten Repositorys in Verknüpft ändert. Wenn sich der Status in Verknüpft ändert, können Sie Git-Repositorys in Ihrem Notizbuch verwenden.