how to config athena spark by use dynamic partition mode when overwrite

I want to save parquet file to s3 by partition mode default is not dynamic and the old data will be erased . How can I config athena spark session setting to dynamic mode?

Themen

Analysen

Tags

Amazon Athena Sitzungsverwaltung

Sprache

English

rePost-User-8379266

gefragt vor einem Jahr301 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

Hello,

This could have been addressed by setting "spark.sql.sources.partitionOverwriteMode" to "dynamic". But as of today, Athena Spark does not allow to make any changes to the spark config.

Sachin_KV

beantwortet vor einem Jahr

Relevanter Inhalt

Wie kann ich den Fehler „FAILED: SemanticException table is not partitioned but partition spec exists" in Athena beheben?
AWS OFFICIALAktualisiert vor einem Jahr
Wie behebe ich den Fehler „The new key policy will not allow you to update the key policy in the future“, wenn ich versuche, mit AWS CloudFormation einen AWS-KMS-Schlüssel zu erstellen?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie behebe ich den Fehler „Unable to verify/create output bucket“ in Amazon Athena?
AWS OFFICIALAktualisiert vor 3 Jahren
Wie behebe ich den Fehler „The specified queue does not exist or you do not have access to it.“, wenn ich einen AWS Glue Job ausführe, um Nachrichten an Amazon SQS in einer anderen Region zu senden?
AWS OFFICIALAktualisiert vor 3 Jahren