Por que meu cluster do Amazon EMR está inacessível?

Breve descrição

Veja alguns motivos comuns que podem deixar seu cluster do EMR inacessível:

• Há um problema de permissões nas regras do grupo de segurança.
• A configuração da rede está incorreta para clusters provisionados em uma sub-rede privada.
• Há um problema com a configuração da autenticação de cluster.
• Há restrições de recursos nos nós do cluster.
• O daemon do serviço Amazon EMR foi interrompido.

Resolução

Regras do grupo de segurança do Amazon EMR

1.    Verifique se as regras do grupo de segurança estão corretas. Para obter mais informações, consulte Working with Amazon EMR-managed security groups (Trabalhar com grupos de segurança gerenciados pelo Amazon EMR).

2.    Verifique se o TCP na porta 8443 é permitido. A porta 8443 permite que o gerenciador do cluster fale com o nó principal do cluster.

3.    Verifique se o SSH na porta 22 é permitido, se você estiver tentando se conectar ao cluster por meio do SSH.

4.     Se usuários ou aplicações externos não conseguirem acessar o cluster do EMR, valide as regras relacionadas definidas em grupos de segurança gerenciados. Valide também as regras em grupos de segurança adicionais.

Clusters do EMR em uma sub-rede privada

Além dos itens mencionados na seção anterior, verifique o seguinte nos clusters do EMR que estão em uma sub-rede privada:

1.    Verifique se o grupo de segurança gerenciado adicional para acesso ao serviço foi adicionado. Verifique se as regras permitem que o gerenciador do cluster se comunique com os nós do cluster. Para obter mais informações, consulte Amazon EMR-managed security group for service access (private subnets) (Grupo de segurança gerenciado pelo Amazon EMR para acesso ao serviço (sub-redes privadas)).

2.    Se você estiver usando um bastion host e não conseguir acessar o Amazon EMR por meio dele, faça o seguinte:

• Verifique se o grupo de segurança do bastion host permite o tráfego de entrada do sistema cliente.
• Verifique se os grupos de segurança do cluster do EMR permitem tráfego de entrada do host bastion.

Como as configurações de rede variam, certifique-se de que a conexão de ponta a ponta esteja configurada corretamente sem nenhum buraco negro.

Métodos de autenticação

Para garantir que a autenticação esteja configurada corretamente, faça o seguinte:

1.    Se a autenticação usar um par de chaves do Amazon Elastic Compute Cloud (Amazon EC2), verifique se ele foi criado e configurado corretamente. Para obter mais informações, consulte Use an Amazon EC2 key pair for SSH credentials (Usar um par de chaves do Amazon EC2 para credenciais SSH).

2.    Se a autenticação usar o Kerberos, verifique se ela está configurada corretamente. Para obter mais informações, consulte Use Kerberos authentication (Usar a autenticação Kerberos).

Restrições de recursos nos nós do cluster

1.    Verifique se o nó principal subjacente está em estado de execução e não foi encerrado.

2.    Verifique o log do estado da instância do nó principal para determinar como os recursos estão sendo usados.

Execute o comando a seguir para verificar o principal usuário da CPU:

ps auxwww --sort -%cpu | head -10

Execute o comando a seguir para verificar a performance do kernel:

dmesg | tail -n 25

Execute o seguinte comando para verificar o uso da memória:

free -m

Execute o seguinte comando para verificar o uso do disco:

df -h

Daemons de cluster do EMR

O Instance Controller (I/C – Controlador de instância) do nó principal é o daemon executado nos nós do cluster. O controlador da instância se comunica com o ambiente de gerenciamento do Amazon EMR e com o restante do cluster. Execute os seguintes comandos para garantir que ele esteja em execução:

Execute o comando a seguir para verificar o status do controlador da instância:

sudo systemctl status instance-controller

Execute o comando a seguir para iniciar o controlador da instância:

sudo systemctl start instance-controller

---