Warum werden meine EMR-Spot-Instances während einer Clustergrößenänderung nicht bereitgestellt?

Lösung

Amazon Elastic Compute Cloud (Amazon EC2) kann Ihre Spot Instance aus den folgenden Gründen jederzeit unterbrechen:

• Mangelnde Spot-Kapazität.
• Die Anforderungsbeschränkungen können nicht erfüllt werden.
• Der Spot-Preis liegt über dem angegebenen Höchstpreis.
• Ihr Spot-Konto-Kontingent ist ausgeschöpft. Wenn dies der Fall ist, können Sie eine Erhöhung beantragen.

Weitere Informationen finden Sie unter Warum hat Amazon EC2 meine Spot Instance unterbrochen?

Hinweis: Es hat sich bewährt, Spot Instances für Workloads zu verwenden, die statuslos, fehlertolerant und flexibel genug sind, um Unterbrechungen standzuhalten.

Außerdem wird die Größe von Spot Instances und On-Demand-Instances möglicherweise nicht geändert, da die Bootstrap-Skripts geändert wurden oder Fehler enthalten.

Suchen Sie in den Protokollen nach dem Bootstrap-Skript unter /emr/instance-controller/log/bootstrap-actions oder s3://cluster_id/node-failed/bootstrap-actions/stderr.gz. Die Protokolle zeigen den Fehler STARTUP_SCRIPT_FAILED_RET_CODE an.

Das folgende Bootstrap-Aktionsprotokoll zeigt beispielsweise, dass die Bootstrap-Aktion 1 (emr_bootstrap_actions.sh) fehlgeschlagen ist:

Another app is currently holding the yum lock; waiting for it to exit...
  The other application is: yum
    Memory : 125 M RSS (444 MB VSZ)
    Started: Tue Jul 19 05:36:36 2022 - 00:03 ago
    State  : Running, pid: 7914
Error: Package: falcon-sensor-4.18.0-6403.amzn2.x86_64 (/falcon-sensor-4.18.0-6403.amzn2.x86_64)
           Requires: systemd

Wenn Sie den vorherigen Fehler sehen, werden die folgenden Aktionen ausgeführt:

• Alle neuen Ersatzknoten werden beendet.
• Der Knoten stellt die Bereitstellung neuer Ersatz-Instances ein.
• Die Instance-Gruppe des Core-Knotens wechselt in den gestoppten Modus, wie im folgenden Beispiel gezeigt:

"state": "ARRESTED",
  "message": "Instance group ig-2JN5xxxxxxxx in Amazon EMR cluster j-37H4xxxxxxx (emr-xxxxx-spark-cluster) was arrested at  for the following reason: Error provisioning instances."
=====

Ähnliche Informationen

Unterbrechungen von Spot Instances

Status von Spot-Anfragen

Bewährte Verfahren für Spot Instances

Warum wird meine Spot Instance beendet, obwohl der Höchstpreis über dem Spot-Preis liegt?