Wie storniere ich einen Amazon EMR-Schritt?

Lesedauer: 2 Minute
0

Ich versuche, einen Amazon EMR-Schritt abzubrechen. Wenn ich den Befehl cancel-steps ausführe, erhalte ich die folgende Fehlermeldung: „Der Schritt kann nicht abgebrochen werden. Es LÄUFT bereits.“

Kurzbeschreibung

Dieser Fehler betrifft Amazon EMR-Versionen 5.27.x und frühere Versionen. In diesen Release-Versionen storniert der Befehl cancel-steps nur ausstehende Schritte. Um einen laufenden Schritt abzubrechen, beenden Sie entweder die Anwendungs-ID (für YARN-Schritte) oder die Prozess-ID (für Nicht-YARN-Schritte).

In Amazon EMR-Versionen 5.28.0 und höher können Sie mithilfe von Cancel-Steps sowohl ausstehende als auch laufende Schritte stornieren. Weitere Informationen finden Sie unter Arbeiten mit Schritten mithilfe der AWS-CLI und der AWS-Konsole.

**Hinweis:**Wenn Sie beim Ausführen von AWS-CLI-Befehlen Fehler erhalten, stellen Sie sicher, dass Sie die neueste Version der AWS-CLI verwenden.

Behebung

Verwenden Sie eine der folgenden Methoden, um laufende Schritte in Amazon EMR-Versionen 5.27.x und früheren Versionen abzubrechen.

YARN-Anwendungen stornieren

1.Stellen Sie über SSH eine Verbindung zum Hauptknoten her.

  1. Um die Anwendungs-ID des Schritts zu ermitteln, führen Sie den folgenden Befehl aus, um alle laufenden Anwendungen aufzulisten.
yarn application -list
  1. Führen Sie den folgenden Befehl aus, um die Anwendung zu beenden. Ersetzen Sie ** application_id ** durch Ihre Anwendungs-ID, z. B. „application_1505786029486_002.“

**Hinweis:**Dieser Befehl beendet alle ausstehenden Schritte in der Warteschlange.

yarn application -kill application_id

Stornieren Sie Nicht-YARN-Anwendungen

1.Stellen Sie über SSH eine Verbindung zum Hauptknoten her.

  1. Führen Sie den folgenden Befehl aus, um die Prozess-ID (PID) abzurufen. Ersetzen Sie im folgenden Beispiel Step_id durch Ihre Step-ID, z. B. s-Y9XXXXXXAPMD.
ps -ef |grep -i step_id

In der folgenden Beispielausgabe lautet die Prozess-ID 2366:

hadoop    2366  4664  0 16:20 ?        00:00:01 /etc/alternatives/jre/bin/java -Xmx1000m -server -XX:OnOutOfMemoryError=kill -9 %p -Dhadoop.log.dir=/mnt/var/log/hado
op/steps/s-2RNURIK9Z2JUH -Dhadoop.log.file=syslog -Dhadoop.home.dir=/usr/lib/hadoop -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,DRFA -Djava.library.pat
h=:/usr/lib/hadoop-lzo/lib/native:/usr/lib/hadoop/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Djava.io.tmpdir=/mnt/var/lib/hadoop/st
eps/s-2RNURIK9Z2JUH/tmp -Dhadoop.security.logger=INFO,NullAppender -Dsun.net.inetaddr.ttl=30 org.apache.hadoop.util.RunJar /var/lib/aws/emr/step-runner/hadoop-
jars/command-runner.jar bash -c envsubst < /home/hadoop/truffle_suffle.json.template
  1. Führen Sie den folgenden Befehl aus, um den Prozess zu beenden. Ersetzen Sie 2366 durch die Prozess-ID für Ihren Schritt.

**Hinweis:**Dieser Befehl beendet alle ausstehenden Schritte in der Warteschlange.

kill -9 2366

Der Status des Schritts ändert sich von Wird ausgeführt in Fehlgeschlagen.


Ähnliche Informationen

Schritte abbrechen

AWS OFFICIAL
AWS OFFICIALAktualisiert vor 2 Jahren