¿Por qué mi trabajo de ETL de AWS Glue reprocesa los datos aunque haya habilitado marcadores de trabajo?

1 minutos de lectura
0

He habilitado marcadores para mi trabajo de AWS Glue, pero continúa reprocesando los datos.

Resolución

Estos son algunos de los motivos habituales por los que un trabajo de extracción, transformación y carga (ETL) podría reprocesar los datos aunque haya marcadores de trabajo habilitados:

  • Tiene varios trabajos simultáneos con marcadores de trabajo y la coincidencia máxima no está establecida en 1.
  • Falta el objeto job.init().
  • Falta el objeto job.commit().
  • Falta el parámetro transformation_ctx.
  • Las claves principales de la tabla no siguen una secuencia (solo conexiones de JDBC).
  • Los datos de origen se han modificado después de su última ejecución del trabajo.

Para obtener más información sobre cada uno de estos problemas, consulte Error: A job is reprocessing data when job bookmarks are enabled.


Información relacionada

Tracking processed data using job bookmarks

OFICIAL DE AWS
OFICIAL DE AWSActualizada hace un año