Running pyspark jobs on EMR serverless with libraries/dependencies for optimized performance

0

Hey Guys

I want to run my pyspark on EMR Serverless but it has some dependencies/libraries which are needed by the pyspark script to run. Please suggest a optimized approach to import the libraries/dependencies on EMR Serverless. I want to run the jobs with minimum run time possible.

Thanks

Tópicos

Banco de dados Análise

Tags

Extrair, transformar e carregar dados Amazon EMR Serverless

Idioma

English

feita há 9 meses389 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

0

Take a look at https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/using-python-libraries.html

respondido há 9 meses

Conteúdo relevante

Como configuro o Amazon EMR para executar um trabalho do PySpark usando Python 3.4 ou 3.6?
AWS OFICIALAtualizada há 2 anos
Como posso resolver erros "Container killed on request. Exit code is 137" do Spark no Amazon EMR?
AWS OFICIALAtualizada há 2 anos
Como faço para definir os parâmetros do Spark no Amazon EMR?
AWS OFICIALAtualizada há um ano
How do I connect to my WorkSpace with RDP?
AWS OFICIALAtualizada há 2 anos