Overwrite in glue script

Hi all,

I can able to append my data to curated. But I can't able to overwrite. During overwrite curated existing file was deleted but not write a new file. My script: df. write.mode('overwrite'). Parquet (s3_file_path)

Themen

Analysen Speicher Datenbank

Tags

AWS Glue Speicher Daten extrahieren, transformieren & laden

Sprache

English

rePost-User-guna

gefragt vor einem Jahr790 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

You should not use the same path as source and destination, even when appending, it can result in racing issues and jobs that are not idempotent. When you select overwrite, first deletes the files on the destination.

EXPERTE

Gonzalo Herreros

beantwortet vor einem Jahr

Relevanter Inhalt

Wie behebe ich den Fehler „The new key policy will not allow you to update the key policy in the future“, wenn ich versuche, mit AWS CloudFormation einen AWS-KMS-Schlüssel zu erstellen?
AWS OFFICIALAktualisiert vor einem Jahr
Wie konfiguriere ich meine Site-to-Site-VPN-Verbindung so, dass Tunnel A gegenüber Tunnel B bevorzugt wird?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie behebe ich den Fehler „The specified queue does not exist or you do not have access to it.“, wenn ich einen AWS Glue Job ausführe, um Nachrichten an Amazon SQS in einer anderen Region zu senden?
AWS OFFICIALAktualisiert vor 3 Jahren
Wie kann ich den Fehler „FAILED: SemanticException table is not partitioned but partition spec exists" in Athena beheben?
AWS OFFICIALAktualisiert vor einem Jahr