Por que não consigo acessar meu cluster do Amazon EMR?

Resolução

Regras incorretas do grupo de segurança do Amazon EMR

Para resolver esse problema, execute as seguintes ações:

• Verifique se as regras do grupo de segurança gerenciado do Amazon EMR estão corretas para usuários internos e usuários e aplicações externas.
• Permita o TCP na porta 8443 para que o gerenciador de cluster possa se comunicar com o nó primário do cluster.
• Permita o SSH na porta 22 para que você possa usar o SSH para se conectar ao cluster.

Configuração incorreta de clusters do Amazon EMR em uma sub-rede privada

Para resolver esse problema, execute as seguintes ações:

• Adicione um grupo de segurança gerenciado para acesso ao serviço. As regras do grupo de segurança devem permitir que o gerenciador do cluster se comunique com os nós do cluster.
• Se você estiver usando um bastion host, configure o grupo de segurança do bastion host para permitir o tráfego de entrada do sistema cliente. Além disso, configure os grupos de segurança do cluster do Amazon EMR para permitir o tráfego de entrada do bastion host.

Observação: as configurações de rede variam, portanto, é preciso definir corretamente a conexão de ponta a ponta sem lacunas.

Configuração de autenticação incorreta

Verifique se a configuração de autenticação usa um par de chaves do Amazon Elastic Compute Cloud (Amazon EC2) ou Kerberos. Em seguida, ajuste corretamente sua configuração de autenticação.

Restrições de recursos no nó do cluster

Para resolver esse problema, execute as seguintes ações:

• Verifique se o nó primário subjacente existe e está no estado em execução.
• Verifique o log do estado da instância do nó primário para determinar como você está usando os recursos.
  Execute o comando a seguir para verificar o usuário principal da CPU:

  ps auxwww --sort -%cpu | head -10

  Execute o comando a seguir para verificar o desempenho do kernel:

  dmesg | tail -n 25

  Execute o comando a seguir para verificar o uso da memória:

  free -m

  Execute o comando a seguir para verificar o uso do disco:

  df -h

O controlador de instância do nó primário não está em execução

Certifique-se de que o controlador de instância do nó primário esteja em execução. O controlador da instância é o daemon, que é executado nos nós do cluster e se comunica com o ambiente de controle do Amazon EMR e com o resto do cluster.

Execute o comando a seguir para verificar o status do controlador de instância nas versões 5.30.0 e posteriores do Amazon EMR:

sudo systemctl status instance-controller

Se o controlador da instância não estiver ativo, execute o seguinte comando para iniciá-lo:

sudo systemctl start instance-controller

Para verificar o status e iniciar o controlador de instância em versões anteriores do Amazon EMR, consulte Como reinicio um serviço no Amazon EMR?