Working only new data in aws glue

0

Hi everyone,
I have a math need to solve. I have new data importing to s3 everyday, Right now I have to run all data include old one everyday which is costly but the thing is I only need to convert the new data. Can anyone know how to just only run new data in ETL job in Glue? And how to Glue know and skip all the things it done and only run the new things - which haven't done yet

I appreciate all your comment
Regards
Thang

Edited by: phithang711 on Jan 29, 2019 2:25 PM

Temas

Etiquetas

Idioma

English

preguntada hace 5 años326 visualizaciones

1 Respuesta

Más nuevo
Más votos
Más comentarios

¿Son útiles estas respuestas? Vote a favor de la respuesta correcta para ayudar a la comunidad a beneficiarse de sus conocimientos.

0

discover the job bookmark in aws glue. Hope it helps me. Close this topic right here

respondido hace 5 años

Contenido relevante

¿Cómo puedo solucionar el error «Your current user or role does not have access to Kubernetes objects on this EKS cluster» en Amazon EKS?
OFICIAL DE AWSActualizada hace un año
¿Cómo soluciono el error «Lambda does not have permission to access the ECR image...» (Lambda no tiene permiso para acceder a la imagen de ECR...) de una función de Lambda con una imagen de contenedor?
OFICIAL DE AWSActualizada hace un año
¿Cómo puedo resolver el error “You have exceeded the allowed number of AWS accounts” (Ha superado el número permitido de cuentas de AWS) en AWS Organizations?
OFICIAL DE AWSActualizada hace un año
¿Cómo puedo resolver el error «The specified queue does not exist or you do not have access to it» cuando ejecuto mi trabajo de AWS Glue para enviar mensajes a Amazon SQS en otra región?
OFICIAL DE AWSActualizada hace 3 años