Overwrite in glue script

Hi all,

I can able to append my data to curated. But I can't able to overwrite. During overwrite curated existing file was deleted but not write a new file. My script: df. write.mode('overwrite'). Parquet (s3_file_path)

Tópicos

Análise Armazenamento Banco de dados

Tags

AWS Glue Armazenamento Extrair, transformar e carregar dados

Idioma

English

rePost-User-guna

feita há um ano792 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

You should not use the same path as source and destination, even when appending, it can result in racing issues and jobs that are not idempotent. When you select overwrite, first deletes the files on the destination.

ESPECIALISTA

Gonzalo Herreros

respondido há um ano

Conteúdo relevante

Como resolvo o erro "[AWS service] was unable to place a task because no container instance met all of its requirements" no Amazon ECS?
AWS OFICIALAtualizada há um ano
Como posso solucionar o erro “FAILED: SemanticException table is not partitioned but partition spec exists” (FALHA: a tabela SemanticException não está particionada, mas existe uma especificação de partição) no Athena?
AWS OFICIALAtualizada há um ano
How do I connect to my WorkSpace with RDP?
AWS OFICIALAtualizada há 2 anos
Por que recebi o erro de IAM “AWS was not able to validate the provided access credentials” (A AWS não pôde validar as credenciais de acesso fornecidas) em algumas regiões da AWS?
AWS OFICIALAtualizada há 2 anos