Como soluciono problemas de conectividade com meu notebook do Amazon EMR?

Breve descrição

Ao se conectar ao seu notebook do Amazon EMR, você pode receber erros semelhantes aos seguintes:

• O espaço de trabalho (notebook) está parado. Erro interno.
• O espaço de trabalho (notebook) agora pode ser usado no modo local.
• O notebook está parado. O perfil de serviço não tem as permissões necessárias.
• O notebook está parado. O grupo de segurança do notebook sg-xxxxxxxx não tem uma regra de saída para se conectar ao grupo de segurança mestre sg-yyyyyy. Corrija o grupo de segurança ou use a opção padrão.
• O notebook está parado. O grupo de segurança do notebook sg-xxxxxxx não deve ter nenhuma regra de entrada. Corrija o grupo de segurança ou use a opção padrão.

Resolução

Verifique o perfil de serviço nos notebooks do EMR

1.    Valide se o perfil do AWS Identity and Access Management (IAM) do notebook tem as permissões mínimas necessárias. Para obter mais informações, consulte Service role for EMR notebooks (Perfil de serviço para notebooks do EMR).

2.    Verifique se o notebook tem todas as permissões contidas em AmazonElasticMapReduceEditorsRole. Use a política gerenciada pela AWS S3FullAccessPolicy para ter acesso total ao Amazon Simple Storage Service (Amazon S3). Para obter mais informações, consulte Política gerenciada pela AWS: Amazon S3FullAccess.

3.    Remova todas as restrições de permissões da política de bucket anexada ao bucket S3 em que o notebook está localizado.

Verifique os grupos de segurança nos notebooks do EMR

1.    Verifique se o grupo de segurança usado em seu notebook tem pelo menos as regras mínimas necessárias. Para obter mais informações, consulte Specifying EC2 security groups for EMR notebooks (Especificar grupos de segurança do EC2 para notebooks do EMR).

2.    É uma prática recomendada usar grupos de segurança diferentes para o cluster do EMR e o notebook do EMR. Os grupos de segurança do notebook e do cluster têm requisitos de regras de entrada e saída diferentes.

O grupo de segurança do notebook ElasticMapReduceEditors-Editor tem uma regra de saída que permite a conexão com o grupo de segurança mestre ElasticMapReduceEditors-Livy. Essa conexão usa tcp/18888. Remova todas as regras de saída adicionadas ao roteamento do grupo de segurança do notebook ElasticMapReduceEditors-Editor para 0.0.0.0/0.

O grupo de segurança mestre ElasticMapReduceEditors-Livy tem uma regra de entrada que permite a conexão com o grupo de segurança do notebook ElasticMapReduceEditors-Editor. Essa conexão usa tcp/18888. Remova todas as regras de entrada adicionadas ao roteamento do grupo de segurança mestre ElasticMapReduceEditors-Livy para 0.0.0.0/0.

Requisitos de cluster do EMR

1.    Verifique se o cluster conectado é compatível e atende a todos os requisitos do cluster.

2.    Quando a representação do Livy estiver ativada, verifique se hadoop-httpfs está sendo executado no nó principal do cluster do EMR.

Use o comando a seguir para verificar o status de hadoop-httpfs:

$ sudo systemctl status hadoop-httpfs

Use o comando a seguir para ativar o hadoop-httpfs:

$ sudo systemctl start hadoop-httpfs

---