Comment utiliser des flux de travail AWS Glue pour démarrer automatiquement une tâche à la fin de l’exécution d’un analyseur ?

Brève description

Pour démarrer une tâche une fois l'exécution de l’analyseur terminée, créez un flux de travail AWS Glue et deux déclencheurs. Un déclencheur est réservé à l’analyseur et un autre à la tâche. Cette méthode nécessite que vous démarriez l’analyseur à partir de la page Flux de travail de la console AWS Glue.

Remarque : Vous pouvez également utiliser une fonction AWS Lambda et une règle Amazon EventBridge pour automatiser l'exécution de la tâche. Si vous choisissez cette option, la fonction Lambda est toujours activée. La fonction surveille l’analyseur indépendamment de l'endroit et du moment où vous démarrez la fonction. Pour plus d’informations, consultez la section Comment puis-je utiliser une fonction Lambda pour démarrer automatiquement une tâche AWS Glue à la fin de l’exécution d’un analyseur ?

Résolution

Prérequis : Pour effectuer les étapes de résolution, vous devez disposer d'une tâche d'extraction, de transformation et de chargement (ETL) AWS Glue et d'un analyseur AWS Glue. Vous devez également disposer d'un rôle AWS Identity and Access Management (IAM) pour AWS Glue auquel la stratégie AWSGlueServiceRole est attachée.

Créer le flux de travail

Procédez comme suit :

1. Ouvrez la console AWS Glue.
2. Dans le volet de navigation, sélectionnez Flux de travail, puis Ajouter un flux de travail.
3. Saisissez un nom pour le flux de travail, puis sélectionnez Ajouter un flux de travail. Le nouveau flux de travail apparaît dans la liste sur la page Flux de travail.

Créez le déclencheur pour l’analyseur

Procédez comme suit :

1. Sur la page Flux de travail, sélectionnez votre nouveau flux de travail, puis choisissez l'onglet Graphique.
2. Sélectionnez Ajouter un déclencheur, puis choisissez l'onglet Ajouter un nouveau. Pour Type de déclencheur, sélectionnez À la demande.
3. Sélectionnez Ajouter. Le déclencheur apparaît sur le graphique.
4. Sur le graphique, sélectionnez Ajouter un nœud.
5. Dans l'onglet Analyseurs, sélectionnez votre analyseur, puis Ajouter.

Créer le déclencheur pour la tâche AWS Glue

Procédez comme suit :

1. Dans le menu Action, au-dessus du graphique, sélectionnez **Ajouter un **déclencheur.
2. Cliquez sur l'onglet Ajouter un nouveau, puis sélectionnez les options suivantes :
   Pour Type de déclencheur, sélectionnez Événement.
   Pour Logique de déclenchement, sélectionnez Démarrer après TOUS les événements surveillés.
3. Sélectionnez Ajouter. Le déclencheur apparaît sur le graphique.
4. Sur le graphique, à gauche du déclencheur de tâche que vous venez de créer, sélectionnez Ajouter un nœud.
5. Dans l'onglet Analyseurs, sélectionnez votre analyseur, puis Ajouter. Le déclencheur apparaît sur le graphique.
6. Sur le graphique, à droite du déclencheur de tâche que vous venez de créer, sélectionnez Ajouter un nœud.
7. Dans l'onglet Tâches, sélectionnez la tâche que vous souhaitez démarrer à la fin de l'exécution de l’analyseur, puis sélectionnez Ajouter.

Exécuter le flux de travail

Procédez comme suit :

1. Dans le menu Actions, à côté du bouton Ajouter un flux de travail, sélectionnez Exécuter. La colonne Statut de la dernière exécution passe à En cours d’exécution.
2. Vérifiez l’onglet Graphique pour voir le statut du flux de travail. Vous pouvez également ouvrir l’analyseur ou la tâche correspondant pour vérifier qu'il est en cours d'exécution.

Informations connexes

Création et développement manuels d'un flux de travail dans AWS Glue