Spark 2.4 on EMR Serverless

Hi, we have a task to move Spark jobs from on-prem to AWS, using lift-and-shift of the code as much as possible. Our Spark is based on Scala 2.11 and Spark 2.4.0. I know EMR supports this version but we prefer serverless.

Will the job work with any version of EMR Serverless? I know the lower Spark version on EMR Serverless is 3.2.1, but wondering if backward compatibility works here?

トピック

サーバーレス分析

タグ

サーバーレス分析 Amazon EMR Serverless

言語

English

Michal

質問済み 1年前453ビュー

1回答

新しい順
投票が多い順
コメントが多い順

これらの回答は役に立ちましたか？コミュニティがあなたの知識を活用できるように、正解に賛成票を投じてください。

Hi!

You will need to migrate your job to Spark 3.2.1 and Scala 2.12. Usually the changes needed are small or non-existent ( apart from library updates) from my experience. You can see the differences here:

https://spark.apache.org/docs/latest/sql-migration-guide.html

Bests!

acmanjon

回答済み 1年前

関連するコンテンツ

AMC Insights on AWSのデプロイに失敗します
承認された回答
Sowmay
質問済み 8ヶ月前
How to know record counts of the tables in Amazon Keyspaces
haruka
質問済み 14日前
CodeDeployにてThe deployment failed because a non-empty field was discovered on your Auto Scaling group that Code Deploy does not currently support copying. Unsupported fields:が表示されデプロイが進まない
承認された回答
rePost-User-6968076
質問済み 1年前
RDS for MySQL 8.0.35でPlugin mysql_native_password reported: ''mysql_native_password' is deprecated and will be removed in a future release. Please use caching_sha2_password instead'のエラーが継続して発生する
parma
質問済み 3ヶ月前
Amazon EMR で Spark ジョブが失敗したのはなぜですか?
AWS公式更新しました 1年前
Amazon EMR の Spark ジョブにおけるステージ障害の問題を解決するには、どうすれば良いですか。
AWS公式更新しました 2年前
Amazon EMR で失敗またはスタックした Spark SQL クエリをトラブルシューティングする方法を教えてください。
AWS公式更新しました 1年前
Amazon EMR で Spark ステップが失敗した場合にトラブルシューティングする方法を教えてください。
AWS公式更新しました 3年前
アベイラビリティーゾーン (AZ) の移行&インスタンスのアップグレードガイド
エキスパート
Sumikawa_M
公開済み 2ヶ月前