AWS re:Postを使用することにより、以下に同意したことになります AWS re:Post 利用規約
AWS re:Postre:Post

how to config athena spark by use dynamic partition mode when overwrite

0

I want to save parquet file to s3 by partition mode default is not dynamic and the old data will be erased . How can I config athena spark session setting to dynamic mode?

トピック
分析
タグ
Amazon Athenaセッション管理
言語
English
rePost-User-8379266
質問済み 1年前301ビュー
1回答
0

Hello,

This could have been addressed by setting "spark.sql.sources.partitionOverwriteMode" to "dynamic". But as of today, Athena Spark does not allow to make any changes to the spark config.

AWS
Sachin_KV
回答済み 1年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ