Glue %connections magic causes error in %additional_python_modules

I am running pyspark on glue 3 notebook. The %additional_python_modules works well in the absence of %connections. But if I add %connections the job ignore %additional_python_modules and doesn't install the modules. Nevertheless, %connections also impair the secret manager call. Does anyone could help me?

Themen

Analysen Datenbank

Tags

Analysen AWS Glue Daten extrahieren, transformieren & laden

Sprache

English

Rafael Rossi

gefragt vor 9 Monaten259 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

My guess is that when you add the connection, this brings a VPC network configuration, which doesn't allow access to the Pypi repository or Secrets managers. If I'm correct and the connection has a network configuration, check it has connectivity as needed.

EXPERTE

Gonzalo Herreros

beantwortet vor 9 Monaten

Relevanter Inhalt

Wie behebe ich „ImportError“: Kein Modul mit dem Namen „“ in AWS Glue?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie behebe ich den Fehler „The specified queue does not exist or you do not have access to it.“, wenn ich einen AWS Glue Job ausführe, um Nachrichten an Amazon SQS in einer anderen Region zu senden?
AWS OFFICIALAktualisiert vor 3 Jahren
Wie verwende ich externe Python-Bibliotheken in meinem AWS-Glue-2.0-ETL-Job?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie behebe ich den Fehler „No space left on device“ (Kein Speicherplatz mehr auf dem Gerät) in einem ETL-Auftrag in AWS Glue?
AWS OFFICIALAktualisiert vor einem Jahr