Running pyspark jobs on EMR serverless with libraries/dependencies for optimized performance

Hey Guys

I want to run my pyspark on EMR Serverless but it has some dependencies/libraries which are needed by the pyspark script to run. Please suggest a optimized approach to import the libraries/dependencies on EMR Serverless. I want to run the jobs with minimum run time possible.

Thanks

Themen: Analysen Datenbank
Tags: Amazon EMR Serverless Daten extrahieren, transformieren & laden
Sprache: English

Jose

gefragt vor 3 Jahren881 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

Take a look at https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/using-python-libraries.html

cisdevry

beantwortet vor 3 Jahren

Relevanter Inhalt

Wie aktualisiere ich meine Python-Version auf Amazon EMR und konfiguriere PySpark-Aufträge, um die aktualisierte Python-Version zu verwenden?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie installiere ich Python-Bibliotheken in Amazon EMR- und Amazon EMR Serverless-Clustern und behebe Fehler?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie senke ich die Kosten in Amazon EMR Serverless?
AWS OFFICIALAktualisiert vor 5 Monaten
Warum sind meine Yarn-Anwendungen in Amazon EMR immer noch im Status „Accepted“ (Akzeptiert)?
AWS OFFICIALAktualisiert vor 4 Jahren

Running pyspark jobs on EMR serverless with libraries/dependencies for optimized performance

Füge deine Antwort hinzu

Relevanter Inhalt