how to config athena spark by use dynamic partition mode when overwrite

I want to save parquet file to s3 by partition mode default is not dynamic and the old data will be erased . How can I config athena spark session setting to dynamic mode?

Sujets

Analytique

Balises

Amazon Athena Gestion des sessions

Langue

English

rePost-User-8379266

demandé il y a un an301 vues

1 réponse

Le plus récent
Le plus de votes
La plupart des commentaires

Ces réponses sont-elles utiles ? Votez pour la bonne réponse pour aider la communauté à bénéficier de vos connaissances.

Hello,

This could have been addressed by setting "spark.sql.sources.partitionOverwriteMode" to "dynamic". But as of today, Athena Spark does not allow to make any changes to the spark config.

Sachin_KV

répondu il y a un an

Contenus pertinents

Mon loadbalancer ne marche pas comme il devrait
zerros
demandé il y a un an
account is currently blocked and not recognized as a valid account
Yves Boah
demandé il y a un an
[ACTION REQUIRED] Update your TLS connections to 1.2 : quelles applications sont concernées ?
rePost-User-7550145
demandé il y a un an
S3 Error: 404 (Not Found)
Gabsi
demandé il y a 6 mois
Comment résoudre l'erreur « Export EXPORT_NAME cannot be updated as it is in use by STACK_NAME » (L'exportation EXPORT_NAME ne peut pas être mise à jour, car elle est utilisée par STACK_NAME) dans AWS CloudFormation ?
AWS OFFICIELA mis à jour il y a 2 ans
Pourquoi le message d’erreur « The snapshot is currently in use by an AMI » s’affiche-t-il lorsque je tente de supprimer mon instantané Amazon EBS ?
AWS OFFICIELA mis à jour il y a 4 mois
Comment résoudre l'exception « Unable to Infer Schema » (Impossible d'inférer le schéma) dans AWS Glue ?
AWS OFFICIELA mis à jour il y a 3 ans
Comment résoudre l'erreur « HIVE_CURSOR_ERROR: Row is not a valid JSON Object - JSONException: Duplicate key » lors de la lecture de fichiers depuis AWS Config dans Athena ?
AWS OFFICIELA mis à jour il y a un an