Glue %connections magic causes error in %additional_python_modules

I am running pyspark on glue 3 notebook. The %additional_python_modules works well in the absence of %connections. But if I add %connections the job ignore %additional_python_modules and doesn't install the modules. Nevertheless, %connections also impair the secret manager call. Does anyone could help me?

Argomenti

Analisi Database

Tag

Analisi AWS Glue Estrazione trasformazione e caricamento dati

Lingua

English

Rafael Rossi

posta 9 mesi fa260 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

My guess is that when you add the connection, this brings a VPC network configuration, which doesn't allow access to the Pypi repository or Secrets managers. If I'm correct and the connection has a network configuration, check it has connectivity as needed.

ESPERTO

Gonzalo Herreros

con risposta 9 mesi fa

Contenuto pertinente

Perché il mio processo AWS Glue non scrive i log in Amazon CloudWatch?
AWS UFFICIALEAggiornata 3 anni fa
Come posso risolvere gli errori di connessione di Marketplace AWS nei miei processi ETL in AWS Glue?
AWS UFFICIALEAggiornata 3 mesi fa
Come posso risolvere gli errori 400 con accesso negato per il testo criptato di AWS KMS in AWS Glue?
AWS UFFICIALEAggiornata un anno fa
Come posso risolvere l'errore "User/IAM role X is not authorized to perform Y on resource Z" error in AWS Glue (L'utente/ruolo IAM X non è autorizzato a eseguire Y sulla risorsa Z in AWS Glue)?
AWS UFFICIALEAggiornata un anno fa