EMR serverless spark properties file

0

Hello,

How do we pass application.conf or properties file to spark jobs on emr serverless, in standard EMR we copy properties or conf files to master node /home/hadoop/?

質問済み 2年前612ビュー
1回答
0

You can place the file(s) in S3 and refer them using the standard --files parameter in spark parameters. The distinction in Serverless being if you intend to load this properties files and need to create an InputStream you will need to use SparkFiles.get(fileName) instead of just filename in the traditional EC2 based EMR cluster, read more about this here

AWS
サポートエンジニア
回答済み 2年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン