¿Cómo puedo iniciar automáticamente un trabajo de AWS Glue cuando finalice la ejecución de un rastreador?

Resolución

Puede utilizar los activadores de AWS Glue para iniciar un trabajo cuando finalice la ejecución de un rastreador. Sin embargo, la consola de AWS Glue solo admite trabajos y no admite rastreadores cuando se trabaja con activadores. Puede utilizar la interfaz de la línea de comandos de AWS (AWS CLI) o la API de AWS Glue para configurar los activadores tanto para los trabajos como para los rastreadores.

Ejecute el siguiente comando de AWS CLI para crear un activador que pueda iniciar un trabajo cuando finalice la ejecución del rastreador:

$ aws glue create-trigger --name testTrigger --type CONDITIONAL --predicate 'Logical=AND,Conditions=[{LogicalOperator=EQUALS,CrawlerName=testCrawler,CrawlState=SUCCEEDED}]' --actions JobName=testJob --start-on-creation

Nota: Si recibe errores al ejecutar comandos de AWS CLI, asegúrese de utilizar la versión más reciente de AWS CLI.

También puede crear un activador mediante el SDK boto3 de Python:

import boto3

client = boto3.client("glue")
response = client.create_trigger(
    Name="testTrigger",
    Type="CONDITIONAL",
    Predicate={
        "Logical": "AND",
        "Conditions": [
            {
                "LogicalOperator": "EQUALS",
                "CrawlerName": "testCrawler",
                "CrawlState": "SUCCEEDED",
            },
        ],
    },
    Actions=[
        {"JobName": "testJob"},
    ],
    StartOnCreation=True,
)

Con cualquiera de los enfoques anteriores, puede crear el activador testTrigger, que puede iniciar el trabajo testJob una vez que el rastreador testCrawler se ejecute correctamente.

Nota: El rastreador testCrawler solo debe iniciarse mediante un activador. Si inicia el rastreador manualmente, el activador no activará el trabajo. En AWS Glue, todos los trabajos o rastreadores se inician solo mediante un activador. Asegúrese de que todos los trabajos o rastreadores de una cadena de dependencias desciendan de los activadores programados o a petición.

Además, puede utilizar uno de los métodos siguientes:

• Crear una función de AWS Lambda y una regla de Amazon EventBridge. Al elegir esta opción, la función de Lambda siempre está activa. Supervisa el rastreador independientemente de dónde o cuándo lo inicie. También puede modificar este método para automatizar otras funciones de AWS Glue. Para obtener más información, consulte ¿Cómo puedo utilizar una función de Lambda para iniciar automáticamente un trabajo de AWS Glue cuando se completa la ejecución de un rastreador?
• Utilizar los flujos de trabajo de AWS Glue. Este método requiere que inicie el rastreador desde la página Flujos de trabajo de la consola de AWS Glue. Para obtener más información, consulte ¿Cómo puedo utilizar los flujos de trabajo de AWS Glue para iniciar automáticamente un trabajo cuando se completa la ejecución del rastreador?