Pourquoi mes instances Spot EMR ne sont-elles pas provisionnées lors du redimensionnement d'un cluster ?

Résolution

Amazon Elastic Compute Cloud (Amazon EC2) peut interrompre votre instance Spot à tout moment pour les raisons suivantes :

• Manque de capacité ponctuelle.
• Les contraintes de demande ne peuvent pas être respectées.
• Le prix spot est supérieur au prix maximum indiqué.
• Le quota de votre compte Spot est épuisé. Si tel est le cas, vous pouvez demander une augmentation.

Pour plus d'informations, consultez Pourquoi Amazon EC2 a-t-il résilié mon instance Spot ?

Remarque : il est recommandé d'utiliser des instances Spot pour des charges de travail sans état, tolérantes aux pannes et suffisamment flexibles pour résister aux interruptions.

De plus, les instances Spot et celles à la demande peuvent ne pas être redimensionnées car les scripts d'amorçage ont été modifiés ou contiennent des erreurs.

Consultez les journaux du script d'amorçage sur /emr/instance-controller/log/bootstrap-actions ou s3://cluster_id/node-failed/bootstrap-actions/stderr.gz. Les journaux affichent l'erreur STARTUP_SCRIPT_FAILED_RET_CODE.

Par exemple, le journal des actions d'amorçage suivant indique que l'action d'amorçage 1 (emr_bootstrap_actions.sh) a échoué :

Another app is currently holding the yum lock; waiting for it to exit...
  The other application is: yum
    Memory : 125 M RSS (444 MB VSZ)
    Started: Tue Jul 19 05:36:36 2022 - 00:03 ago
    State  : Running, pid: 7914
Error: Package: falcon-sensor-4.18.0-6403.amzn2.x86_64 (/falcon-sensor-4.18.0-6403.amzn2.x86_64)
           Requires: systemd

Si l'erreur précédente s'affiche, les actions suivantes se produisent :

• Tous les nouveaux nœuds de remplacement se terminent.
• Le nœud arrête de fournir de nouvelles instances de remplacement.
• Le groupe d'instances du nœud principal passe en mode arrêté, comme indiqué dans l'exemple suivant :

"state": "ARRESTED",
  "message": "Instance group ig-2JN5xxxxxxxx in Amazon EMR cluster j-37H4xxxxxxx (emr-xxxxx-spark-cluster) was arrested at  for the following reason: Error provisioning instances."
=====

Informations connexes

Interruptions des instances Spot

Statut des demandes Spot

Bonnes pratiques relatives aux instances Spot

Pourquoi mon instance Spot est-elle résiliée, alors que le prix maximum est supérieur au prix Spot ?