how to config athena spark by use dynamic partition mode when overwrite

0

I want to save parquet file to s3 by partition mode default is not dynamic and the old data will be erased . How can I config athena spark session setting to dynamic mode?

주제

태그

아마존 Athena 세션 관리

언어

English

rePost-User-8379266

질문됨 일 년 전301회 조회

1개 답변

최신
최다 투표
가장 많은 댓글

이 답변이 도움이 되었나요?커뮤니티가 여러분의 지식을 활용할 수 있도록 정답을 찬성하세요.

0

Hello,

This could have been addressed by setting "spark.sql.sources.partitionOverwriteMode" to "dynamic". But as of today, Athena Spark does not allow to make any changes to the spark config.

답변함 일 년 전

관련 콘텐츠

네트워크 인터페이스 삭제 방법 문의 (네트워크 인터페이스가 사용중임.) How can I remove network interface in-use?
rePost-User-0635929
질문됨 일 년 전
How can I incorporate a custom query into start_expense_analysis?
ckhan
질문됨 2달 전
How To Install glibc-devel.i686 on Amazon Linux 2
rePost-User-1751202
질문됨 일 년 전
cloud9 개발 환경 설정 (How can I activate these features for my Cloud9 development environment?)
adflkz
질문됨 2달 전
AWS Glue에서 ‘Unable to infer schema’ 예외를 해결하려면 어떻게 해야 합니까?
AWS 공식업데이트됨 3년 전
Athena 쿼리가 오류 'HIVE_PARTITION_SCHEMA_MISMATCH'와 함께 실패하는 이유는 무엇입니까?
AWS 공식업데이트됨 3년 전
Amazon EBS 스냅샷을 삭제하려고 하면 "The snapshot is currently in use by an AMI"라는 오류 메시지가 표시되는 이유가 무엇인가요?
AWS 공식업데이트됨 4달 전
매월 기록된 구성 항목 수를 검색하여 AWS Config 결제를 파악하려면 어떻게 해야 합니까?
AWS 공식업데이트됨 2년 전
“The remote session was disconnected because there are no Remote Desktop License Servers available to provide a license.” 메세지와 함께 RDP 연결이 불가능한 경우 해결 방안
지원 엔지니어
MinJu_K
게시됨 3달 전
Apache Iceberg on AWS Glue에서 한글 테이블명과 컬럼명을 사용하는 방법
전문가
IRON
게시됨 9달 전