Glue %connections magic causes error in %additional_python_modules

I am running pyspark on glue 3 notebook. The %additional_python_modules works well in the absence of %connections. But if I add %connections the job ignore %additional_python_modules and doesn't install the modules. Nevertheless, %connections also impair the secret manager call. Does anyone could help me?

Temas

Análisis Base de datos

Etiquetas

Análisis AWS Glue Extraer datos de transformación y carga

Idioma

English

Rafael Rossi

preguntada hace 9 meses276 visualizaciones

1 Respuesta

Más nuevo
Más votos
Más comentarios

¿Son útiles estas respuestas? Vote a favor de la respuesta correcta para ayudar a la comunidad a beneficiarse de sus conocimientos.

My guess is that when you add the connection, this brings a VPC network configuration, which doesn't allow access to the Pypi repository or Secrets managers. If I'm correct and the connection has a network configuration, check it has connectivity as needed.

EXPERTO

Gonzalo Herreros

respondido hace 9 meses

Contenido relevante

¿Cómo resuelvo los errores “error: You must be logged in to the server (Unauthorized)” al conectar a un clúster de Amazon EKS desde CodeBuild?
OFICIAL DE AWSActualizada hace 3 años
¿Cómo puedo solucionar el error «FAILED: SemanticException table is not partitioned but partition spec exists" in Athena» (FALLO: La tabla SemanticException no está particionada, pero la especificación de partición existe») en Athena?
OFICIAL DE AWSActualizada hace un año
¿Por qué aparece el error «The snapshot is currently in use by an AMI» cuando intento eliminar mi instantánea de Amazon EBS?
OFICIAL DE AWSActualizada hace 5 meses
¿Cómo puedo solucionar el error de AWS STS “the security token included in the request is expired” (el token de seguridad incluido en la solicitud ha caducado) cuando uso AWS CLI para asumir un rol de IAM?
OFICIAL DE AWSActualizada hace 2 años