Warum werden meine EMR-Spot-Instances während einer Cluster-Größenänderung nicht bereitgestellt?

Lösung

Amazon Elastic Compute Cloud (Amazon EC2) kann Ihre Spot Instance aus folgenden Gründen jederzeit unterbrechen:

• Mangelnde Spot-Kapazität.
• Die Anforderungseinschränkungen können nicht erfüllt werden.
• Der Spot-Preis ist höher als der angegebene Höchstpreis.
• Ihr Spot-Kontokontingent ist erschöpft. Sollte das der Fall sein, können Sie eine Erhöhung beantragen.

Weitere Informationen finden Sie unter Warum hat Amazon EC2 meine Spot Instance gekündigt?

Hinweis: Es empfiehlt sich, Spot Instances für Workloads zu verwenden, die zustandslos, fehlertolerant und flexibel genug sind, um Unterbrechungen standzuhalten.

Außerdem kann die Größe von Spot Instances und On-Demand-Instances möglicherweise nicht geändert werden, da die Bootstrap-Skripts geändert wurden oder Fehler enthalten.

Überprüfen Sie die Protokolle für das Bootstrap-Skript unter /emr/instance-controller/log/bootstrap-actions oder s3://cluster_id/node-failed/bootstrap-actions/stderr.gz. Die Protokolle zeigen den Fehler STARTUP_SCRIPT_FAILED_RET_CODE.

Das folgende Bootstrap-Aktionsprotokoll zeigt beispielsweise, dass die Bootstrap-Aktion 1 (emr_bootstrap_actions.sh) fehlgeschlagen ist:

Another app is currently holding the yum lock; waiting for it to exit...
  The other application is: yum
    Memory : 125 M RSS (444 MB VSZ)
    Started: Tue Jul 19 05:36:36 2022 - 00:03 ago
    State  : Running, pid: 7914
Error: Package: falcon-sensor-4.18.0-6403.amzn2.x86_64 (/falcon-sensor-4.18.0-6403.amzn2.x86_64)
           Requires: systemd

Wenn Sie den vorherigen Fehler sehen, werden die folgenden Aktionen ausgeführt:

• Alle neuen Ersatzknoten werden beendet.
• Der Knoten stellt die Bereitstellung neuer Ersatz-Instances ein.
• Die Gruppe der Core-Knoten-Instances wechselt in den Modus „angehalten“, wie im folgenden Beispiel gezeigt:

"state": "ARRESTED",
  "message": "Instance group ig-2JN5xxxxxxxx in Amazon EMR cluster j-37H4xxxxxxx (emr-xxxxx-spark-cluster) was arrested at  for the following reason: Error provisioning instances."
=====

Ähnliche Informationen

Spot-Instance-Unterbrechungen

Status der Spot-Anfrage

Bewährte Methoden für Spot Instances

Warum wird meine Spot Instance beendet, obwohl der Spot-Preis den Höchstpreis nicht überschreitet?