Perché non viene eseguito il provisioning delle mie istanze spot EMR durante il ridimensionamento del cluster?

Risoluzione

Amazon Elastic Compute Cloud (Amazon EC2) può interrompere le istanze spot in qualsiasi momento per i seguenti motivi:

• Mancanza di capacità spot.
• I vincoli della richiesta non possono essere soddisfatti.
• Il prezzo spot è superiore al prezzo massimo indicato.
• La quota dell'account spot è esaurita. In tal caso, è possibile richiedere un aumento.

Per ulteriori informazioni, consulta Perché Amazon EC2 ha terminato la mia istanza Spot?

Nota: è consigliabile utilizzare istanze spot per carichi di lavoro senza stato, con tolleranza agli errori e abbastanza flessibili da resistere alle interruzioni.

Inoltre, le istanze spot e le istanze on demand potrebbero non essere ridimensionate perché gli script bootstrap sono stati modificati o contengono errori.

Controlla i log dello script bootstrap in /emr/instance-controller/log/bootstrap-actions o s3://cluster_id/node-failed/bootstrap-actions/stderr.gz. I log mostrano l'errore STARTUP_SCRIPT_FAILED_RET_CODE.

Ad esempio, il seguente log delle azioni bootstrap mostra che l'azione bootstrap 1 (emr_bootstrap_actions.sh) non è riuscita:

Another app is currently holding the yum lock; waiting for it to exit...
  The other application is: yum
    Memory : 125 M RSS (444 MB VSZ)
    Started: Tue Jul 19 05:36:36 2022 - 00:03 ago
    State  : Running, pid: 7914
Error: Package: falcon-sensor-4.18.0-6403.amzn2.x86_64 (/falcon-sensor-4.18.0-6403.amzn2.x86_64)
           Requires: systemd

Se viene visualizzato l'errore precedente, vengono eseguite le seguenti azioni:

• Tutti i nodi sostitutivi vengono interrotti.
• Il nodo interrompe il provisioning di nuove istanze sostitutive.
• Il gruppo di istanze del nodo principale entra in modalità di arresto come illustrato nell'esempio seguente:

"state": "ARRESTED",
  "message": "Instance group ig-2JN5xxxxxxxx in Amazon EMR cluster j-37H4xxxxxxx (emr-xxxxx-spark-cluster) was arrested at  for the following reason: Error provisioning instances."
=====

Informazioni correlate

Interruzioni dell'istanza spot

Stato della richiesta spot

Best practice per l'istanza spot

Perché la mia istanza spot viene interrotta anche se il prezzo massimo è superiore al prezzo spot?