¿Por qué no se aprovisionan mis instancias puntuales de EMR durante el cambio de tamaño de un clúster?

Resolución

Amazon Elastic Compute Cloud (Amazon EC2) puede interrumpir su instancia de spot en cualquier momento por los siguientes motivos:

• Falta de capacidad de spot.
• No se pueden cumplir las restricciones de la solicitud.
• El precio de spot es superior al precio máximo designado.
• Se ha agotado la cuota de la cuenta de spot. Si este es el caso, puede solicitar un aumento.

Para obtener más información, consulte ¿Por qué Amazon EC2 interrumpió mi instancia de spot?

Nota: Se recomienda utilizar instancias de spot para cargas de trabajo que no tengan estado, toleren errores y sean lo suficientemente flexibles como para soportar las interrupciones.

Además, es posible que las instancias de spot y las instancias bajo demanda no cambien de tamaño porque los scripts de arranque se modificaron o contienen errores.

Consulte los registros del script de arranque en /emr/instance-controller/log/bootstrap-actions o s3://cluster_id/node-failed/bootstrap-actions/stderr.gz. Los registros muestran el error STARTUP_SCRIPT_FAILED_RET_CODE.

Por ejemplo, el siguiente registro de acciones de arranque muestra que la acción de arranque 1 (emr_bootstrap_actions.sh) falló:

Another app is currently holding the yum lock; waiting for it to exit...
  The other application is: yum
    Memory : 125 M RSS (444 MB VSZ)
    Started: Tue Jul 19 05:36:36 2022 - 00:03 ago
    State  : Running, pid: 7914
Error: Package: falcon-sensor-4.18.0-6403.amzn2.x86_64 (/falcon-sensor-4.18.0-6403.amzn2.x86_64)
           Requires: systemd

Si ve el error anterior, se producen las siguientes acciones:

• Todos los nodos de reemplazo nuevos terminan.
• El nodo deja de aprovisionar nuevas instancias de reemplazo.
• El grupo de instancias del nodo principal pasa al modo detenido, como se muestra en el siguiente ejemplo:

"state": "ARRESTED",
  "message": "Instance group ig-2JN5xxxxxxxx in Amazon EMR cluster j-37H4xxxxxxx (emr-xxxxx-spark-cluster) was arrested at  for the following reason: Error provisioning instances."
=====

Información relacionada

Detectar las interrupciones de la instancia

Estado de la solicitud de spot

Prácticas recomendadas de la instancia de spot

¿Por qué se termina mi instancia de spot a pesar de que el precio máximo es superior al precio de spot?