¿Por qué mi clúster de EMR no termina o termina antes de lo esperado cuando utilizo una política de terminación automática?

Descripción breve

Al crear un clúster de EMR, puede activar la política de terminación automática. La política de terminación automática termina el clúster después de una cantidad específica de tiempo de inactividad.

Resolución

1.    Asegúrese de que el rol de perfil de instancia de Amazon Elastic Compute Cloud (Amazon EC2), EMR_EC2_DefaultRole, tenga los siguientes permisos. Si el rol de perfil de instancia EC2 de EMR no tiene estos permisos, el clúster permanece activo aunque cumpla con el requisito de tiempo de espera de inactividad.

{
    "Version": "2012-10-17",
    "Statement": {
        "Sid": "AllowAutoTerminationPolicyActions",
        "Effect": "Allow",
        "Action": [
            "elasticmapreduce:PutAutoTerminationPolicy",
            "elasticmapreduce:GetAutoTerminationPolicy",
            "elasticmapreduce:RemoveAutoTerminationPolicy"
        ],
        "Resource": "your-resources"
    }

En las versiones 5.34 a 5.36 y 6.4.0 o posteriores de Amazon EMR, un clúster está inactivo cuando se cumple lo siguiente:

• No hay aplicaciones YARN activas.
• La utilización de HDFS está por debajo del 10 %.
• No hay conexiones activas de cuaderno de EMR o EMR Studio.
• No hay ninguna interfaz de usuario de aplicaciones en el clúster en uso.

En las versiones 5.30.0 a 5.33.1 y 6.1.0 a 6.3.0 de Amazon EMR, un clúster está inactivo cuando se cumple lo siguiente:

• No hay aplicaciones YARN activas.
• La utilización de HDFS está por debajo del 10 %.
• El clúster no tiene trabajos de Spark activos.

2.    Asegúrese de que el proceso de recopilación de métricas se esté ejecutando. El proceso de recopilación de métricas recoge métricas para determinar la terminación automática. Ejecute los siguientes comandos para comprobar el proceso de recopilación de métricas:

ps -ef|grep metrics-collector

o

systemctl status metricscollector.service

Para obtener más información, consulte ¿Cómo reinicio un servicio en Amazon EMR?

3.    Al activar la terminación automática mediante una política de terminación automática, Amazon EMR emite la métrica AutoTerminationClusterIdle de Amazon CloudWatch con un nivel de detalle de un minuto. Esta métrica evalúa si el clúster cumple con el requisito de estado inactivo. Si esta métrica muestra “1”, significa que el clúster está inactivo. Si muestra “0”, el clúster sigue activo.

Consulte las métricas de CloudWatch del clúster de EMR y compruebe que la métrica AutoTerminationisCluseterIdle de CloudWatch esté continuamente en “1” en el clúster. Si está en “1” de forma continua, el clúster cumple los requisitos para la terminación automática.

Información relacionada

Uso de una política de terminación automática

Supervisión de métricas con CloudWatch