Por que meu cluster do EMR não é encerrado ou é encerrado antes do esperado quando estou usando uma política de encerramento automático?

Breve descrição

Ao criar um cluster do EMR, você pode ativar a política de encerramento automático. A política de encerramento automático encerra o cluster após um determinado período de inatividade.

Resolução

1.    Certifique-se de que a função do perfil de instância do Amazon Elastic Compute Cloud (Amazon EC2), EMR_EC2_DefaultRole, tenha as permissões a seguir. Se a função do perfil de instância do EMR EC2 não tiver essas permissões, o cluster permanecerá ativo mesmo que atenda ao requisito de tempo limite de inatividade.

{
    "Version": "2012-10-17",
    "Statement": {
        "Sid": "AllowAutoTerminationPolicyActions",
        "Effect": "Allow",
        "Action": [
            "elasticmapreduce:PutAutoTerminationPolicy",
            "elasticmapreduce:GetAutoTerminationPolicy",
            "elasticmapreduce:RemoveAutoTerminationPolicy"
        ],
        "Resource": "your-resources"
    }

Nas versões 5.34 a 5.36 e 6.4.0 ou posteriores do Amazon EMR, um cluster fica inativo quando ocorre o seguinte:

• Não há aplicativos YARN ativos.
• A utilização do HDFS está abaixo de 10%.
• Não há conexões ativas com o bloco de anotações do EMR ou o EMR Studio.
• Não há interfaces de usuário de aplicações no cluster em uso.

Nas versões 5.30.0 a 5.33.1 e 6.1.0 a 6.3.0 do Amazon EMR, um cluster fica inativo quando ocorre o seguinte:

• Não há aplicativos YARN ativos.
• A utilização do HDFS está abaixo de 10%.
• O cluster não tem trabalhos ativos do Spark.

2.    Certifique-se de que o processo de coleta de métricas esteja em execução. O processo de coleta de métricas coleta as métricas para determinar o encerramento automático. Execute os seguintes comandos para verificar o processo de coleta de métricas:

ps -ef|grep metrics-collector

-ou-

systemctl status metricscollector.service

Para obter mais informações, consulte Como faço para reiniciar um serviço no Amazon EMR?

3.    Quando você ativa o encerramento automático usando uma política de encerramento automático, o Amazon EMR emite a métrica AutoTerminationClusterIdle do Amazon CloudWatch com uma granularidade de um minuto. Essa métrica avalia se o cluster atende ao requisito de estado de inatividade. Se essa métrica mostra “1", o cluster está inativo. Se mostra “0", o cluster ainda está ativo.

Visualize as métricas do CloudWatch do cluster do EMR e verifique se a métrica AutoTerminationisCluseterIdle do CloudWatch está continuamente “1" no cluster. Se estiver continuamente “1", o cluster se qualificará para encerramento automático.

Informações relacionadas

Usar uma política de encerramento automático

Monitorar métricas com o CloudWatch