Overwrite in glue script

Hi all,

I can able to append my data to curated. But I can't able to overwrite. During overwrite curated existing file was deleted but not write a new file. My script: df. write.mode('overwrite'). Parquet (s3_file_path)

Argomenti

Analisi Archiviazione Database

Tag

AWS Glue Archiviazione Estrazione trasformazione e caricamento dati

Lingua

English

rePost-User-guna

posta un anno fa791 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

You should not use the same path as source and destination, even when appending, it can result in racing issues and jobs that are not idempotent. When you select overwrite, first deletes the files on the destination.

ESPERTO

Gonzalo Herreros

con risposta un anno fa

Contenuto pertinente

Perché ho ricevuto l'errore IAM "AWS was not able to validate the provided access credentials" in alcune regioni AWS?
AWS UFFICIALEAggiornata 2 anni fa
Come posso risolvere l'errore "CloudFront wasn't able to connect to the origin"?
AWS UFFICIALEAggiornata 2 anni fa
Come faccio a risolvere l'errore "[AWS service] was unable to place a task because no container instance met all of its requirements." su Amazon ECS?
AWS UFFICIALEAggiornata un anno fa
Come posso scaricare i file di configurazione di esempio AWS Site-to-Site VPN?
AWS UFFICIALEAggiornata 2 anni fa