AWS Builder Center: Learn, Build and Connect with builders in the AWS community

AWS Builder Center is the official home for builders on AWS. Share and read what others are working on, follow people who inspire you, explore training and workshops, and find tools to support what you're building.

Running pyspark jobs on EMR serverless with libraries/dependencies for optimized performance

Hey Guys

I want to run my pyspark on EMR Serverless but it has some dependencies/libraries which are needed by the pyspark script to run. Please suggest a optimized approach to import the libraries/dependencies on EMR Serverless. I want to run the jobs with minimum run time possible.

Thanks

Tópicos: Estatísticas Database
Tags: Amazon EMR Serverless Extrair, transformar e carregar dados
Idioma: English

Jose

feita há 3 anos890 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

Take a look at https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/using-python-libraries.html

cisdevry

respondido há 3 anos

Conteúdo relevante

FNAF Sister Location Mobile Game (Full Game) - Dúvida sobre otimização de performance em servidor na AWS
entrenamne
feita há 9 meses
Prime Rush 3.0 (Mobile Android) Dificuldades com a latência do Amazon GameLift e a experiência do jogador
sliviamon
feita há 9 meses
ValidationException: Operation not allowed when invoking Amazon Bedrock model in Playground
Resposta aceita
leo
feita há um ano
Poppy Playtime Chapter 4 Mobile (Game Android) - Problema de implantação no S3 e CloudFront
mainerrti
feita há 9 meses
Como faço para atualizar minha versão do Python no Amazon EMR e configurar trabalhos do PySpark para usar a versão atualizada do Python?
AWS OFICIALAtualizada há 2 anos
Como faço para instalar e solucionar problemas de bibliotecas Python nos clusters sem servidor do Amazon EMR e do Amazon EMR?
AWS OFICIALAtualizada há 2 anos
Como faço para reduzir os custos no Amazon EMR Sem Servidor?
AWS OFICIALAtualizada há 5 meses
Como soluciono falhas de estágio “no space left on device” em uma tarefa do Apache Spark no Amazon EMR?
AWS OFICIALAtualizada há um ano
Por que as cobranças de serviço na fatura da AWS não correspondem às cobranças no AWS Cost Explorer ou no AWS Cost and Usage Report?
ESPECIALISTA
Caio Correa
publicada há 5 meses
Usando o CloudWatch e o AWS Shield para Monitoramento Eficaz de DDoS: Um Guia Técnico
ESPECIALISTA
Mateus Prado
publicada há um ano

Running pyspark jobs on EMR serverless with libraries/dependencies for optimized performance

Adicione sua resposta

Conteúdo relevante