Glue %connections magic causes error in %additional_python_modules

I am running pyspark on glue 3 notebook. The %additional_python_modules works well in the absence of %connections. But if I add %connections the job ignore %additional_python_modules and doesn't install the modules. Nevertheless, %connections also impair the secret manager call. Does anyone could help me?

Tópicos

Análise Banco de dados

Tags

Análise AWS Glue Extrair, transformar e carregar dados

Idioma

English

Rafael Rossi

feita há 9 meses260 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

My guess is that when you add the connection, this brings a VPC network configuration, which doesn't allow access to the Pypi repository or Secrets managers. If I'm correct and the connection has a network configuration, check it has connectivity as needed.

ESPECIALISTA

Gonzalo Herreros

respondido há 9 meses

Conteúdo relevante

Como soluciono o erro “The security token included in the request is expired” (O token de segurança incluído na solicitação está expirado) ao executar aplicações Java no Amazon EC2?
AWS OFICIALAtualizada há 2 anos
How do I connect to my WorkSpace with RDP?
AWS OFICIALAtualizada há 2 anos
Por que minha conexão de teste do AWS Glue falha?
AWS OFICIALAtualizada há 3 anos
Como posso solucionar o erro do AWS STS “the security token included in the request is expired” (o token de segurança incluído na solicitação expirou) ao usar a AWS CLI para assumir uma função do IAM?
AWS OFICIALAtualizada há 2 anos