Working only new data in aws glue

Hi everyone,
I have a math need to solve. I have new data importing to s3 everyday, Right now I have to run all data include old one everyday which is costly but the thing is I only need to convert the new data. Can anyone know how to just only run new data in ETL job in Glue? And how to Glue know and skip all the things it done and only run the new things - which haven't done yet

I appreciate all your comment
Regards
Thang

Edited by: phithang711 on Jan 29, 2019 2:25 PM

Themen

Analysen

Relevanter Inhalt

Wie behebe ich den Fehler „The specified queue does not exist or you do not have access to it.“, wenn ich einen AWS Glue Job ausführe, um Nachrichten an Amazon SQS in einer anderen Region zu senden?
AWS OFFICIALAktualisiert vor 3 Jahren
Wie kann ich Datenbanken und Tabellen aus dem AWS Glue Data Catalog mit AWS Lake Formation kontenübergreifend freigeben?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie behebe ich Fehler, wenn ich mit SageMaker Data Wrangler Daten in mein Amazon SageMaker Studio importiere?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie kann ich den Fehler “Lambda does not have permission to access the ECR image...” (Lambda hat keine Berechtigung, auf das ECR-Image zuzugreifen...) für eine Lambda-Funktion mit einem Container-Image beheben?
AWS OFFICIALAktualisiert vor einem Jahr