Spark 2.4 on EMR Serverless

Hi, we have a task to move Spark jobs from on-prem to AWS, using lift-and-shift of the code as much as possible. Our Spark is based on Scala 2.11 and Spark 2.4.0. I know EMR supports this version but we prefer serverless.

Will the job work with any version of EMR Serverless? I know the lower Spark version on EMR Serverless is 3.2.1, but wondering if backward compatibility works here?

주제

서버리스 분석

태그

서버리스 분석 아마존 EMR 서버리스

언어

English

Michal

질문됨 일 년 전455회 조회

1개 답변

최신
최다 투표
가장 많은 댓글

이 답변이 도움이 되었나요?커뮤니티가 여러분의 지식을 활용할 수 있도록 정답을 찬성하세요.

Hi!

You will need to migrate your job to Spark 3.2.1 and Scala 2.12. Usually the changes needed are small or non-existent ( apart from library updates) from my experience. You can see the differences here:

https://spark.apache.org/docs/latest/sql-migration-guide.html

Bests!

acmanjon

답변함 일 년 전

Spark 2.4 on EMR Serverless

관련 콘텐츠