EMR serverless spark properties file

0

Hello,

How do we pass application.conf or properties file to spark jobs on emr serverless, in standard EMR we copy properties or conf files to master node /home/hadoop/?

demandé il y a 2 ans613 vues
1 réponse
0

You can place the file(s) in S3 and refer them using the standard --files parameter in spark parameters. The distinction in Serverless being if you intend to load this properties files and need to create an InputStream you will need to use SparkFiles.get(fileName) instead of just filename in the traditional EC2 based EMR cluster, read more about this here

AWS
INGÉNIEUR EN ASSISTANCE TECHNIQUE
répondu il y a 2 ans

Vous n'êtes pas connecté. Se connecter pour publier une réponse.

Une bonne réponse répond clairement à la question, contient des commentaires constructifs et encourage le développement professionnel de la personne qui pose la question.

Instructions pour répondre aux questions