Running pyspark jobs on EMR serverless with libraries/dependencies for optimized performance

0

Hey Guys

I want to run my pyspark on EMR Serverless but it has some dependencies/libraries which are needed by the pyspark script to run. Please suggest a optimized approach to import the libraries/dependencies on EMR Serverless. I want to run the jobs with minimum run time possible.

Thanks

Themen

Datenbank Analysen

Tags

Daten extrahieren, transformieren & laden Amazon EMR Serverlos

Sprache

English

gefragt vor 9 Monaten388 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

0

Take a look at https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/using-python-libraries.html

beantwortet vor 9 Monaten

Relevanter Inhalt

Wie konfiguriere ich Amazon EMR, um einen PySpark-Job mit Python 3.4 oder 3.6 auszuführen?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie stelle ich Spark-Parameter in Amazon EMR ein?
AWS OFFICIALAktualisiert vor einem Jahr
Wie kann ich Phasenfehler in Spark-Jobs auf Amazon EMR beheben?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie kann ich Parquet-Dateien in Amazon EMR verketten?
AWS OFFICIALAktualisiert vor 2 Jahren