Al usar AWS re:Post, aceptas las AWS re:Post Términos de uso
AWS re:Postre:Post

Running pyspark jobs on EMR serverless with libraries/dependencies for optimized performance

0

Hey Guys

I want to run my pyspark on EMR Serverless but it has some dependencies/libraries which are needed by the pyspark script to run. Please suggest a optimized approach to import the libraries/dependencies on EMR Serverless. I want to run the jobs with minimum run time possible.

Thanks

Temas
Base de datosAnálisis
Etiquetas
Extraer datos de transformación y cargaAmazon EMR Serverless
Idioma
English
Jose
preguntada hace 9 meses387 visualizaciones
1 Respuesta
0

Take a look at https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/using-python-libraries.html

cisdevry
respondido hace 9 meses

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas

Contenido relevante