Can we use a conda environment on AWS Glue-ETL?

I have a python file that runs on a conda environment (i.e, qiime2 which is a conda env installed from "https://data.qiime2.org/distro/core/qiime2-2021.4-py38-linux-conda.yml")

Is there a way to setup a conda environment on AWS Glue-ETL before running a job using my python file? Is seems it is possible to provide pip-installable python modules or whl files in the "Python library path" field, but I cannot find how to set up the running-environment using yml file.

Themen

Analysen Datenbank

Tags

AWS Glue Daten extrahieren, transformieren & laden

Sprache

English

rePost-User-9256543

gefragt vor 2 Jahren754 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

Hi,

AWS Glue lets you install additional Python modules and libraries for use with AWS Glue ETL. If you want to install Python modules that aren’t included out of the box, please follow the steps lined out in the documentation here:

https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-python-libraries.html

Thanks.

Nick Furr

beantwortet vor 2 Jahren

rePost-User-9256543
vor 2 Jahren
Hi, thanks for your answer. I am aware of that python modules can be installed by assigning "Python library path" as described in the document you mentioned. However, conda environment also includes "non-python" library dependencies. I wonder if a conda environment including "non-python" library (e.g., https://data.qiime2.org/distro/core/qiime2-2021.4-py38-linux-conda.yml) can be set up in AWS Glue.

Relevanter Inhalt

Wie behebe ich den AWS-KMS-Schlüsselrichtlinienfehler „Policy contains a statement with one or more invalid principals“ (Richtlinie enthält Aussage mit einem oder mehreren ungültigen Pinzipalen)?
AWS OFFICIALAktualisiert vor 2 Jahren
Warum erhalte ich von Amazon S3 die Fehlermeldung „A conflicting conditional operation is currently in progress against this resource“, wenn ich versuche, einen Bucket neu zu erstellen?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie kann ich Python-Pakete in einer Conda-Umgebung auf einer Amazon SageMaker-Notebook-Instance installieren?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie konfiguriere ich meine Site-to-Site-VPN-Verbindung so, dass Tunnel A gegenüber Tunnel B bevorzugt wird?
AWS OFFICIALAktualisiert vor 2 Jahren