how to config athena spark by use dynamic partition mode when overwrite

I want to save parquet file to s3 by partition mode default is not dynamic and the old data will be erased . How can I config athena spark session setting to dynamic mode?

Argomenti

Analisi

Tag

Amazon Athena Gestione delle sessioni

Lingua

English

rePost-User-8379266

posta un anno fa301 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

Hello,

This could have been addressed by setting "spark.sql.sources.partitionOverwriteMode" to "dynamic". But as of today, Athena Spark does not allow to make any changes to the spark config.

Sachin_KV

con risposta un anno fa

Contenuto pertinente

Ho ricevuto il messaggio "NetworkInterfaces associated with the Lambda Function to be cleaned up" durante l'eliminazione di uno stack CloudFormation.
AWS UFFICIALEAggiornata 3 anni fa
Come posso risolvere l'errore “This image is managed by AWS Backup and cannot be deleted via EC2 APIs. To delete this image, please use the AWS Backup APIs, CLI, or console." quando cerco di eliminare un backup di Amazon EC2?
AWS UFFICIALEAggiornata 10 mesi fa
Perché ricevo l'errore "The snapshot is currently in use by an AMI" quando cerco di eliminare uno snapshot Amazon EBS?
AWS UFFICIALEAggiornata 4 mesi fa
How do I access a private API Gateway API when the VPC endpoint uses an on-premises DNS?
AWS UFFICIALEAggiornata 3 anni fa