how to config athena spark by use dynamic partition mode when overwrite

I want to save parquet file to s3 by partition mode default is not dynamic and the old data will be erased . How can I config athena spark session setting to dynamic mode?

Tópicos

Análise

Tags

Amazon Athena Gerenciamento de sessão

Idioma

English

rePost-User-8379266

feita há um ano301 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

Hello,

This could have been addressed by setting "spark.sql.sources.partitionOverwriteMode" to "dynamic". But as of today, Athena Spark does not allow to make any changes to the spark config.

Sachin_KV

respondido há um ano

Conteúdo relevante

Por que recebo o erro “Unable to validate the following destination configurations” quando crio uma Notificação de eventos do Amazon S3?
AWS OFICIALAtualizada há 8 meses
Como posso solucionar o erro “FAILED: SemanticException table is not partitioned but partition spec exists” (FALHA: a tabela SemanticException não está particionada, mas existe uma especificação de partição) no Athena?
AWS OFICIALAtualizada há um ano
How do I connect to my WorkSpace with RDP?
AWS OFICIALAtualizada há 2 anos
Como faço para converter o modo de inicialização de uma instância do EC2 Windows de Legacy BIOS para UEFI ou UEFI Secure Boot?
AWS OFICIALAtualizada há um ano