Warum kann ich meinen Amazon EMR-Cluster nicht erreichen?

Lösung

Falsche Amazon EMR-Sicherheitsgruppenregeln

Gehe wie folgt vor, um dieses Problem zu beheben:

• Stelle sicher, dass die von Amazon EMR verwalteten Sicherheitsgruppenregeln für interne Benutzer und externe Benutzer sowie Anwendungen korrekt sind.
• Erlaube TCP auf Port 8443, damit der Cluster-Manager mit dem Primärknoten des Clusters kommunizieren kann.
• Erlaube SSH auf Port 22, damit du SSH verwenden kannst, um eine Verbindung zum Cluster herzustellen.

Falsche Einrichtung für Amazon EMR-Cluster in einem privaten Subnetz

Gehe wie folgt vor, um dieses Problem zu beheben:

• Füge eine verwaltete Sicherheitsgruppe für den Servicezugriff hinzu. Die Sicherheitsgruppenregeln müssen es dem Cluster-Manager ermöglichen, mit den Cluster-Knoten zu kommunizieren.
• Wenn du einen Bastion-Host verwendest, konfiguriere die Bastion-Host-Sicherheitsgruppe so, dass eingehender Datenverkehr vom Clientsystem zugelassen wird. Konfiguriere außerdem die Amazon EMR-Cluster-Sicherheitsgruppen, um eingehenden Datenverkehr vom Bastion-Host zuzulassen.

Hinweis: Die Netzwerkkonfigurationen variieren. Stelle daher sicher, dass du die Ende-zu-Ende-Verbindung korrekt und ohne schwarze Löcher einrichtest.

Falsche Authentifizierungs-Einrichtung

Prüfe, ob die Authentifizierungs-Einrichtung ein Amazon Elastic Compute Cloud (Amazon EC2)-Schlüsselpaar oder Kerberos verwendet. Konfiguriere dann die Authentifizierungs-Einrichtung korrekt.

Ressourcenbeschränkungen im Cluster-Knoten

Gehe wie folgt vor, um dieses Problem zu beheben:

• Stelle sicher, dass der zugrunde liegende Primärknoten vorhanden ist und sich im Zustand Wird ausgeführt befindet.
• Überprüfe das Instance-Zustandsprotokoll des Primärknotens, um festzustellen, wie du Ressourcen verwendest.
  Führe den folgenden Befehl aus, um nach dem Top-CPU-Benutzer zu suchen:

  ps auxwww --sort -%cpu | head -10

  Führe den folgenden Befehl aus, um die Leistung des Kernels zu überprüfen:

  dmesg | tail -n 25

  Führe den folgenden Befehl aus, um die Speichernutzung zu überprüfen:

  free -m

  Führe den folgenden Befehl aus, um die Festplattennutzung zu überprüfen:

  df -h

Der Instance-Controller des Primärknotens wird nicht ausgeführt

Stelle sicher, dass der Instance-Controller des Primärknotens ausgeführt wird. Der Instance-Controller ist der Daemon, der auf den Cluster-Knoten ausgeführt wird und mit der Amazon EMR-Steuerebene und dem Rest des Clusters kommuniziert.

Führe den folgenden Befehl aus, um den Status des Instance-Controllers auf Amazon EMR-Versionen 5.30.0 und höher zu überprüfen:

sudo systemctl status instance-controller

Wenn der Instance-Controller nicht aktiv ist, führe den folgenden Befehl aus, um den Instance-Controller zu starten:

sudo systemctl start instance-controller

Informationen zum Überprüfen des Status und zum Starten des Instance-Controllers auf früheren Amazon EMR-Versionen findest du unter Wie starte ich einen Service in Amazon EMR neu?