how to config athena spark by use dynamic partition mode when overwrite

I want to save parquet file to s3 by partition mode default is not dynamic and the old data will be erased . How can I config athena spark session setting to dynamic mode?

Temas

Análisis

Etiquetas

Amazon Athena Administración de sesiones

Idioma

English

rePost-User-8379266

preguntada hace un año300 visualizaciones

1 Respuesta

Más nuevo
Más votos
Más comentarios

¿Son útiles estas respuestas? Vote a favor de la respuesta correcta para ayudar a la comunidad a beneficiarse de sus conocimientos.

Hello,

This could have been addressed by setting "spark.sql.sources.partitionOverwriteMode" to "dynamic". But as of today, Athena Spark does not allow to make any changes to the spark config.

Sachin_KV

respondido hace un año

Contenido relevante

¿Cómo resuelvo los errores “error: You must be logged in to the server (Unauthorized)” al conectar a un clúster de Amazon EKS desde CodeBuild?
OFICIAL DE AWSActualizada hace 2 años
¿Cómo puedo solucionar el error «FAILED: SemanticException table is not partitioned but partition spec exists" in Athena» (FALLO: La tabla SemanticException no está particionada, pero la especificación de partición existe») en Athena?
OFICIAL DE AWSActualizada hace un año
¿Cómo puedo solucionar el error «You must be logged in to the server (Unauthorized)» cuando me conecto al servidor API de Amazon EKS?
OFICIAL DE AWSActualizada hace un año
¿Por qué aparece el error «The snapshot is currently in use by an AMI» cuando intento eliminar mi instantánea de Amazon EBS?
OFICIAL DE AWSActualizada hace 4 meses