Data sharing between EMR Serverless Jobs

0

Trying to share data between two spark jobs in an EMR serverless application using temp or global temp views without having to write to s3 and then do read. It doesn't seem to work.

What is the recommended approach?

syd
質問済み 2年前260ビュー
1回答
0

In EMR Serverless you can enable shared applications. When you submit jobs, you can specify IAM role permissions that a EMR Serverless job run can assume when calling other services on your behalf. This includes access to Amazon S3 for any data sources, targets, as well as other AWS resources like Amazon Redshift clusters and DynamoDB tables. To learn more about how to create a role, see https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/getting-started.html#gs-runtime-role

回答済み 1年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ