使用 AWS re:Post 即表示您同意 AWS re:Post 使用條款
AWS re:Postre:Post

how to config athena spark by use dynamic partition mode when overwrite

0

I want to save parquet file to s3 by partition mode default is not dynamic and the old data will be erased . How can I config athena spark session setting to dynamic mode?

主題
分析
標籤
Amazon Athena工作階段管理
語言
English
rePost-User-8379266
已提問 1 年前檢視次數 301 次
1 個回答
0

Hello,

This could have been addressed by setting "spark.sql.sources.partitionOverwriteMode" to "dynamic". But as of today, Athena Spark does not allow to make any changes to the spark config.

AWS
Sachin_KV
已回答 1 年前

您尚未登入。 登入 去張貼答案。

一個好的回答可以清楚地回答問題並提供建設性的意見回饋，同時有助於提問者的專業成長。

回答問題指南

相關內容