Pourquoi mon flux AWS Glue n'est-il pas déclenché ?

Lecture de 4 minute(s)
0

J'ai créé un flux AWS Glue, mais il ne démarre pas. -ou- Certaines des tâches et des robots d'exploration constitutifs de mon flux AWS Glue ne sont pas en cours d'exécution.

Brève description

Si votre flux AWS Glue ou ses composants ne sont pas déclenchés, confirmez les éléments suivants :

  • Si un déclencheur planifié est utilisé comme déclencheur source, vérifiez qu'il est activé. Assurez-vous que la planification est mentionnée en UTC et que l'expression cron inclut tous les champs obligatoires.
  • Si un composant externe active le déclencheur source, vérifiez que le composant externe fonctionne correctement.
  • Assurez-vous que la condition de prédicat utilisée pour déclencher un composant n'est pas remplie par un agent externe au flux.
  • Si un composant fait partie d'une chaîne de dépendances, assurez-vous que les tâches/robots d'exploration en amont sont démarré(e)s dans le même flux par un seul déclencheur source.

Résolution

Le flux ne commence pas avec un déclencheur temporel

Si le déclencheur source du flux est planifié, vérifiez les points suivants :

  • Assurez-vous que le déclencheur est à l'état ACTIVÉ et non CRÉE. Si le déclencheur n'est pas à l'état ACTIVÉ, activez-le manuellement.
  • Assurez-vous que l'expression cron utilisée dans la planification d'un déclencheur est exprimé en temps universel coordonné (UTC). Assurez-vous que les champs de l'expression cron correspondent à la conversion du fuseau horaire local en UTC. Vérifiez également si l'expression cron comprend tous les champs obligatoires dans le bon format. Pour plus d'informations, rendez-vous à la section Planifications temporelles pour les tâches et les analyseurs.

Le flux ne démarre pas avec un déclencheur à la demande.

Si le déclencheur source est à la demande et qu'une entité en amont le déclenche à l'aide de l'appel d'API StartWorkFlowRun, assurez-vous que l'entité appelante fonctionne correctement.

Le flux ne commence pas par un déclencheur conditionnel

Assurez-vous que les conditions du prédicat dans le déclencheur ne sont pas remplies par un agent externe au flux. Si les conditions sont remplies par un agent externe, le déclencheur n'est pas activé. Les déclencheurs conditionnels ne sont démarrés que si l'événement surveillé est lancé par un déclencheur.

Supposons que les conditions suivantes soient remplies :

  • Vous disposez d'un flux avec une tâche JOB_MAIN déclenchée par TEST_TR.
  • Le déclencheur TEST_TR dépend de l'achèvement d'une autre tâche JOB_DEP qui ne fait pas partie du flux actuel.

Dans ce cas, même si JOB_DEP s'achève correctement et que la logique de prédicat du déclencheur TEST_TR est respectée, la tâche JOB_MAIN n'est pas déclenchée. En effet, la condition du prédicat est remplie par un agent qui ne fait pas partie du même flux.

Le flux ne démarre pas pour une tâche de composant ou un analyseur faisant partie d'une chaîne de dépendances

Vérifiez si la tâche/l'analyseur dépend de l'achèvement d'une tâche en amont/d'un analyseur qui est également lancé par un déclencheur. Une tâche/analyseur dépendant(e) ne démarre que si la tâche/l'analyseur terminé(e) a été démarré(e) par un déclencheur. Assurez-vous que tou(te)s les tâches/analyseurs d'une chaîne de dépendances sont des descendants d'un seul déclencheur planifié ou à la demande.

Supposons que les conditions soient vraies :

  • Votre flux commence par un déclencheur TEST_TR1 qui démarre la tâche JOB_1.
  • Un autre déclencheur TEST_TR2 dépend de l'achèvement de JOB_1 pour démarrer la tâche JOB_2.

Dans ce cas, TEST_TR2 démarre JOB_2 lorsque les conditions de prédicat pour TEST_TR2 sont remplies.

Toutefois, si JOB_1 est exécuté à la demande et n'est pas démarré par TEST_TR1, TEST_TR2 ne démarre pas JOB_2 même si les conditions de prédicat pour TEST_TR2 sont remplies.


Informations connexes

Déclencheurs AWS Glue

Restrictions de flux dans AWS Glue

AWS OFFICIEL
AWS OFFICIELA mis à jour il y a 3 ans