Pourquoi ma tâche AWS Glue ETL retraite-t-elle les données même lorsque les signets de tâche sont activés ?

Lecture de 1 minute(s)
0

J'ai activé les signets de tâche pour ma tâche AWS Glue, mais celle-ci continue de retraiter les données.

Solution

Voici quelques raisons courantes pour lesquelles une tâche d'extraction, de transformation et de chargement (ETL) peut retraiter des données même si les signets de tâche sont activés :

  • Vous avez plusieurs tâches simultanées avec des signets de tâche, et la concurrence maximale n'est pas définie sur 1.
  • L'objet job.init() est manquant.
  • L'objet job.commit() est manquant.
  • Le paramètre transformation_ctx est manquant.
  • Les clés primaires de la table ne sont pas dans l'ordre séquentiel (connexions JDBC uniquement).
  • Les données source ont été modifiées après votre dernière exécution de tâche.

Pour plus d'informations sur chacun de ces problèmes, voir Erreur : Une tâche retraite des données lorsque les signets de tâche sont activés.


Informations connexes

Suivi des données traitées à l'aide de signets de tâche

AWS OFFICIEL
AWS OFFICIELA mis à jour il y a un an