Comment utiliser des flux AWS Glue pour démarrer automatiquement une tâche à la fin de l'exécution d'un analyseur ?

Brève description

Pour démarrer une tâche à l'issue de l'exécution d'un analyseur, créez un flux de travail AWS Glue et deux déclencheurs, un pour l'analyseur et l'autre pour la tâche. Cette méthode nécessite que vous démarriez l'analyseur à partir de la page Flux de la console AWS Glue.

Remarque : vous pouvez également utiliser une fonction AWS Lambda et une règle Amazon EventBridge pour automatiser les exécutions de tâches. Lorsque vous choisissez cette option, la fonction Lambda est toujours activée. Cette dernière surveille l'analyseur, quel que soit l'endroit ou le moment où vous démarrez la fonction. Pour plus d'informations, consultez la section Comment puis-je utiliser une fonction Lambda pour démarrer automatiquement une tâche AWS Glue à la fin de l'exécution d'un analyseur ?

Résolution

Avant d’effectuer la procédure suivante, assurez-vous que vous disposez des éléments suivants :

• Une tâche Extract-transform-load (ETL) AWS Glue
• Un analyseur AWS Glue
• Un rôle AWS Identity and Access Management (IAM) pour AWS Glue, associé à la politique AWSGlueServiceRole

Création du flux de travail

1. Ouvrez la console AWS Glue.
2. Dans le volet de navigation, choisissez Workflows (Flux de travail), puis Add workflow (Ajouter un flux de travail).
3. Spécifiez un nom pour le flux de travail, puis sélectionnez Add workflow (Ajouter un flux de travail). Le nouveau flux de travail apparaît dans la liste sur la page Workflows (Flux de travail).

Création du déclencheur pour l'analyseur

1. Sur la page Workflows (Flux de travail), sélectionnez votre nouveau flux de travail, puis choisissez l'onglet Graph (Graphique).
2. Sélectionnez Add trigger (Ajouter un déclencheur), puis choisissez l'onglet Add new (Ajouter). Pour Trigger type (Type de déclencheur), choisissez On demand (À la demande).
3. Sélectionnez Add (Ajouter). Le déclencheur apparaît sur le graphique.
4. Sur le graphique, choisissez Add node (Ajouter un nœud).
5. Dans l'onglet Crawlers (Analyseurs), sélectionnez votre analyseur, puis choisissez Add (Ajouter).

Créer le déclencheur pour la tâche AWS Glue

1. Dans le menu Action au-dessus du graphique, choisissez Add trigger (Ajouter un déclencheur).
2. Choisissez l'onglet Add new (Ajouter un nouveau), puis sélectionnez les options suivantes : pour Trigger type (Type de déclencheur), choisissez Event (Événement). Pour Trigger logic (Logique du déclencheur), choisissez Start after ALL watched event (Démarrer après TOUS les événements visualisés).
3. Sélectionnez Add (Ajouter). Le déclencheur apparaît sur le graphique.
4. Sur le graphique, à gauche du déclencheur de tâche que vous venez de créer, choisissez Add node (Ajouter un nœud).
5. Dans l'onglet Crawlers (Analyseurs), sélectionnez votre analyseur, puis choisissez Add (Ajouter). Le déclencheur apparaît sur le graphique.
6. Sur le graphique, à droite du déclencheur de tâche que vous venez de créer, choisissez Add node (Ajouter un nœud).
7. Dans l'onglet Jobs (Tâches), sélectionnez la tâche que vous souhaitez démarrer à l'issue de l'exécution de l'analyseur, puis choisissez Add (Ajouter).

Test du flux de travail

1. Dans le menu Actions, à côté du bouton Add workflow (Ajouter un flux de travail), choisissez Run (Exécuter). Dans la colonne Last run status (Dernier statut d'exécution), le statut devient Running (En cours d'exécution).
2. Allez dans l'onglet Graph (Graphique) pour vérifier le statut du flux de travail. Vous pouvez également ouvrir votre analyseur ou tâche correspondant(e) pour vous assurer qu'il/elle est en cours d'exécution.

Informations connexes

Création manuelle d'un flux de travail dans AWS Glue