Spark 2.4 on EMR Serverless

1

Hi, we have a task to move Spark jobs from on-prem to AWS, using lift-and-shift of the code as much as possible. Our Spark is based on Scala 2.11 and Spark 2.4.0. I know EMR supports this version but we prefer serverless.

Will the job work with any version of EMR Serverless? I know the lower Spark version on EMR Serverless is 3.2.1, but wondering if backward compatibility works here?

주제

서버리스 분석

태그

서버리스 분석 아마존 EMR 서버리스

언어

English

질문됨 일 년 전556회 조회

1개 답변

최신
최다 투표
가장 많은 댓글

이 답변이 도움이 되었나요?커뮤니티가 여러분의 지식을 활용할 수 있도록 정답을 찬성하세요.

0

Hi!

You will need to migrate your job to Spark 3.2.1 and Scala 2.12. Usually the changes needed are small or non-existent ( apart from library updates) from my experience. You can see the differences here:

https://spark.apache.org/docs/latest/sql-migration-guide.html

Bests!

답변함 일 년 전

관련 콘텐츠

On-premises - Questions about Juniper Router Settings during Site to Site (VPN) deployment / 온프레미스 - 인스턴스 간 VPN (Site to Site) 구축 중 Juniper Router 설정에 관한 질문
watchtek
질문됨 2달 전
The aws cost came out unexpectedly, is there a way to save money?
rePost-User-0762112
질문됨 일 년 전
EMR Serverless 내 새로운 패키징 설치(How to install library on EMR Serverless)
chaiwon
질문됨 일 년 전
SMTP doesn't work between EC2 and On-prem server connected to DX
ym_lee
질문됨 일 년 전
Amazon EMR 노트북에서 Spark 구성을 수정하려면 어떻게 해야 합니까?
AWS 공식업데이트됨 2년 전
Amazon EMR 클러스터에서 Spark 드라이버 로그에 액세스하려면 어떻게 해야 합니까?
AWS 공식업데이트됨 3년 전
Amazon EMR에서 실패하거나 중단된 Spark SQL 쿼리 문제를 해결하려면 어떻게 해야 하나요?
AWS 공식업데이트됨 2년 전
Amazon EMR에서 Spark 파라미터를 설정하려면 어떻게 해야 합니까?
AWS 공식업데이트됨 2년 전
Apache Hudi on AWS Glue에서 한글컬럼명을 조건절에 사용하는 방법
전문가
IRON
게시됨 일 년 전
Apache Iceberg on AWS Glue에서 한글 테이블명과 컬럼명을 사용하는 방법
전문가
IRON
게시됨 일 년 전