Quero vincular meu caderno do Amazon EMR a um repositório baseado em Git.
Resolução
Observação: Os Cadernos do Amazon EMR estão disponíveis como Amazon EMR Studio Workspaces no novo console do Amazon EMR.
Para criar um novo caderno do Amazon EMR no console antigo e associá-lo a um repositório baseado em Git, conclua as seguintes etapas:
- Crie uma sub-rede privada em uma Amazon Virtual Private Cloud (Amazon VPC).
- Crie um gateway NAT e atualize sua tabela de rotas para apontar para o gateway NAT.
- Inicie um cluster do Amazon EMR na sub-rede privada. Na seção Configuração de software, certifique-se de selecionar uma configuração que inclua Apache Spark, Apache Hadoop e Apache Livy.
- Quando você estiver esperando que o cluster alcance o estado ESPERA, adicione o repositório baseado em Git.
- Em Credenciais do Git, clique em Criar um novo segredo. Certifique-se de que o nome de usuário seja o alias da conta do Git.
- Crie um grupo de segurança personalizado chamado ElasticMapReduceEditors-Editor com as seguintes regras de saída:
Na regra 1, defina Tipo como Regra TCP personalizada, Protocolo como TCP, Intervalo de portas como 18888 e Destino como ElasticMapReduceEditors-Livy.
Na regra 2, defina Tipo como HTTPS, Protocolo como TCP, Intervalo de portas como 443 e Destino como 0.0.0.0/0.
- Adicione uma regra de entrada ao grupo de segurança ElasticMapReduceEditors-Livy com as seguintes configurações:
Tipo: Regra TCP personalizada
Protocolo: TCP
Intervalo de portas: 18888
Destino: Insira o nome do seu grupo de segurança personalizado.
- Modifique o perfil de serviço dos Cadernos do Amazon EMR EMR_Notebooks_DefaultRole para permitir a ação secretsmanager:GetSecretValue.
- Crie um caderno do Amazon EMR com as seguintes configurações de grupo de segurança:
Na seção Grupos de segurança, selecione Escolher grupos de segurança.
Em Grupos de segurança para instância principal, selecione ElasticMapReduceEditors-Livy.
Em Grupos de segurança para instância do caderno, selecione seu grupo de segurança personalizado.
- Confirme se o status do repositório baseado em Git muda para Vinculado. Quando o status muda para Vinculado, é possível usar repositórios Git no seu caderno.