Working only new data in aws glue

Hi everyone,
I have a math need to solve. I have new data importing to s3 everyday, Right now I have to run all data include old one everyday which is costly but the thing is I only need to convert the new data. Can anyone know how to just only run new data in ETL job in Glue? And how to Glue know and skip all the things it done and only run the new things - which haven't done yet

I appreciate all your comment
Regards
Thang

Edited by: phithang711 on Jan 29, 2019 2:25 PM

Themen: Analysen
Tags: AWS Glue
Sprache: English

phithang711

gefragt vor 8 Jahren619 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

discover the job bookmark in aws glue. Hope it helps me. Close this topic right here

phithang711

beantwortet vor 8 Jahren

Relevanter Inhalt

Warum gibt mein Amazon-Q-Business-Weberlebnis die Fehlermeldung „Sorry, I could not find relevant information to complete your request“ zurück?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie behebe ich den Fehler „The specified queue does not exist or you do not have access to it.“, wenn ich einen AWS Glue-Job ausführe, um Nachrichten an Amazon SQS in einer anderen Region zu senden?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie behebe ich die Antwort „Sorry, I am unable to assist you with this request“ in den Amazon Bedrock-Wissensdatenbank?
AWS OFFICIALAktualisiert vor einem Jahr
Wie behebe ich den Fehler „Failed to connect to the URL of your data source“, wenn ich SharePoint als Datenquelle in den Amazon-Bedrock-Wissensdatenbanken verwende?
AWS OFFICIALAktualisiert vor einem Jahr

Working only new data in aws glue

Füge deine Antwort hinzu

Relevanter Inhalt