En utilisant AWS re:Post, vous acceptez les AWS re:Post Conditions d’utilisation
AWS re:Postre:Post

Working only new data in aws glue

0

Hi everyone,
I have a math need to solve. I have new data importing to s3 everyday, Right now I have to run all data include old one everyday which is costly but the thing is I only need to convert the new data. Can anyone know how to just only run new data in ETL job in Glue? And how to Glue know and skip all the things it done and only run the new things - which haven't done yet

I appreciate all your comment
Regards
Thang

Edited by: phithang711 on Jan 29, 2019 2:25 PM

Sujets
Analytique
Balises
AWS Glue
Langue
English
phithang711
demandé il y a 5 ans326 vues
1 réponse
0

discover the job bookmark in aws glue. Hope it helps me. Close this topic right here

phithang711
répondu il y a 5 ans

Vous n'êtes pas connecté. Se connecter pour publier une réponse.

Une bonne réponse répond clairement à la question, contient des commentaires constructifs et encourage le développement professionnel de la personne qui pose la question.

Instructions pour répondre aux questions

Contenus pertinents