Working only new data in aws glue

Hi everyone,
I have a math need to solve. I have new data importing to s3 everyday, Right now I have to run all data include old one everyday which is costly but the thing is I only need to convert the new data. Can anyone know how to just only run new data in ETL job in Glue? And how to Glue know and skip all the things it done and only run the new things - which haven't done yet

I appreciate all your comment
Regards
Thang

Edited by: phithang711 on Jan 29, 2019 2:25 PM

Argomenti: Analisi
Tag: AWS Glue
Lingua: English

phithang711

posta 8 anni fa623 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

discover the job bookmark in aws glue. Hope it helps me. Close this topic right here

phithang711

con risposta 8 anni fa

Contenuto pertinente

Come posso risolvere l'errore "The specified queue does not exist or you do not have access to it." quando eseguo il mio job AWS Glue per inviare messaggi ad Amazon SQS in un'altra Regione?
AWS UFFICIALEAggiornata 2 anni fa
Come posso risolvere l’errore di AWS Glue “The specified subnet does not have enough free addresses to satisfy the request”?
AWS UFFICIALEAggiornata 2 mesi fa
Come posso risolvere l'errore "You don't have permissions to edit bucket policy" che ricevo quando modifico una policy di bucket in Amazon S3?
AWS UFFICIALEAggiornata un anno fa
Come posso risolvere l'errore "Lambda does not have permission to access the ECR image" per un'immagine di container della funzione Lambda?
AWS UFFICIALEAggiornata 10 mesi fa

Working only new data in aws glue

Aggiungi la tua risposta

Contenuto pertinente