Saltar al contenido

¿Cómo resuelvo las tareas que están bloqueadas en estado de ejecución en mi entorno de Amazon MWAA?

6 minutos de lectura
0

Quiero solucionar problemas en mi entorno de Amazon Managed Workflows para Apache Airflow (Amazon MWAA) para las tareas que están bloqueadas en el estado de ejecución o que son tareas zombis.

Descripción corta

Cuando ejecutas gráficos acíclicos dirigidos (DAG) en Amazon MWAA, las tareas pueden quedarse en estado de ejecución o convertirse en tareas zombis. Esto puede suceder incluso cuando todas las tareas y trabajos secundarios están completos, no hay errores en los registros de tareas y el estado muestra que todo está correcto o que hay un error. Este problema puede afectar a tareas individuales o a DAG completos y es necesario que los marques como correctos o erróneos para continuar con la ejecución del proceso.

Este error puede producirse por los siguientes motivos:

  • Los trabajadores utilizan mucho recursos.
  • Hay problemas de conexión a la base de datos entre los contenedores de trabajador y programador.
  • Hay restricciones de recursos del programador.
  • Hay una configuración incorrecta de los parámetros de Apache Airflow.
  • No sigues las prácticas recomendadas de escritura de DAG.
    Nota: Para obtener más información, consulta Prácticas recomendadas en el sitio web de Apache Airflow.

Resoluciones

Supervisión y optimización de los recursos de los trabajadores

Las tareas se quedan en estado de ejecución cuando los trabajadores utilizan mucho la CPU o la memoria. Cuando los trabajadores tienen demasiados procesos que gestionar, pierden la conectividad con la base de datos de metadatos y no pueden actualizar correctamente el estado de la tarea.

Para comprobar el uso de los recursos de los trabajadores, sigue estos pasos:

  1. Usa la consola de Amazon CloudWatch para comprobar el uso de los recursos por parte de los trabajadores base y los trabajadores adicionales.
  2. Selecciona Máximo para la estadística y, a continuación, elige un período detallado de 1 minuto o 5 minutos.
  3. Busca picos consistentes que superen el 80 %. Esto indica limitaciones de recursos.
    **Nota:**Asegúrate de que el uso de la memoria y la CPU sea inferior al umbral del 90 %.

Para optimizar los recursos de los trabajadores, toma las siguientes medidas:

  • Accede a dag_processor_manager.log en el grupo de registro de procesamiento del DAG. Si tienes tiempos de análisis de DAG altos, debes refactorizar el DAG. Para obtener más información, consulta dag_processor_manager_log_location en el sitio web de Apache Airflow.
  • Revisa y refactoriza el código que se envió al programador y a los trabajadores. Para obtener más información, consulta Reducing DAG complexity (Reducción de la complejidad de los DAG) en el sitio web de Apache Airflow.
  • Ajusta celery.worker_autoscale a un valor inferior al nivel de concurrencia predeterminado para su clase de entorno.
  • Identifica los plazos en los que la carga de trabajo es más pesada y escalona la ejecución de las tareas. Usa depends_on_past u otras dependencias para añadir ligeras demoras entre los grupos de tareas.
  • Establece los registros del trabajador, planificador y servidor web en el nivel ADVERTENCIA en lugar de establecerlos en INFORMACIÓN. Cuando los niveles de registro se establecen en el nivel INFORMACIÓN, Amazon MWAA crea demasiados registros detallados en CloudWatch. Una cantidad de registros excesiva puede ralentizar el rendimiento de la CPU y consumir demasiados recursos.

Solución de problemas de conexión a la base de datos

Las tareas también pueden quedar bloqueadas en estado de ejecución cuando los trabajadores pierden la conexión con la base de datos de metadatos. Esto puede impedir las actualizaciones de estado. Cuando se produce este problema, verás los siguientes errores relacionados con la base de datos:

  • «psycopg2.OperationalError: SSL connection has been closed unexpectedly»
  • «sqlalchemy.exc.OperationalError: (psycopg2.errors.ConnectionException) Timed-out waiting to acquire database connection»
  • Errores SIGTERM/SIGKILL.

Para resolver los problemas de conexión a la base de datos, realiza las siguientes acciones:

  • Para crear un nuevo intérprete de Python para cada tarea, aislar la conectividad de la base de datos y evitar problemas de conexión en varias tareas, establece core.execute_tasks_new_python_interpreter en true.
    Nota: Para obtener más información, consulta Setting configuration options (Configuración de opciones) en el sitio web de Apache Airflow.
  • Para minimizar la carga de la base de datos, limpia la base de datos de metadatos de PostgreSQL con regularidad.
    Nota: Evita pasar grandes volúmenes de datos a través de XCom. En su lugar, usa Amazon Simple Storage Service (Amazon S3) para transferir y almacenar grandes cadenas de datos.
  • Usa llamadas a variables solo cuando sea necesario y de acuerdo con las prácticas recomendadas de escritura de DAG.
    Nota: Cada llamada a una variable abre una conexión a la base de datos.
  • Para ajustar el rendimiento de la base de datos, ajusta core.min_serialized_dag_update_interval, scheduler.dag_dir_list_interval scheduler.min_file_process_interval y scheduler.scheduler_idle_sleep_time.

Optimización del rendimiento del programador

La sobrecarga del programador puede provocar que las tareas se bloqueen en el estado de ejecución cuando el programador no puede realizar un seguimiento adecuado del progreso de las tareas.

Para solucionar este problema, toma las siguientes medidas:

  • Para reducir la carga del planificador, añade scheduler.schedule_after_task_execution y establécelo en False. Agrega también scheduler.parsing_processes.
  • Para supervisar el estado del programador, comprueba si hay alguna caída en la métrica de CloudWatch de SchedulerHeartbeat.

Sigue las prácticas recomendadas de Apache Airflow

Los DAG complejos pueden contribuir a que las tareas se queden en estado de ejecución.

Para evitar estos problemas, toma las siguientes medidas:

  • Evita el procesamiento de datos pesados en los trabajadores de Apache Airflow. En su lugar, transfiere las operaciones de uso intensivo de recursos a servicios diseñados específicamente para ello, como Amazon EMR, AWS Glue o Amazon Elastic Kubernetes Service (Amazon EKS).
  • Mueve las importaciones y la lógica a las funciones de las tareas siempre que sea posible.
    Nota: El código de nivel superior ejecuta todos los ciclos de análisis de DAG y consume recursos.
  • Crea un archivo .airflowignore para excluir del procesamiento los DAG innecesarios.
  • Evita llamar a variables de Apache Airflow en el código de nivel superior. Utiliza el almacenamiento en caché de variables cuando necesites usar variables en el momento del análisis.
  • Implementa operadores diferibles para procesos externos de larga duración.
    Nota: Estos operadores liberan ranuras para los trabajadores mientras esperan a los procesos externos y evitan que los trabajadores permanezcan ocupados durante los períodos de espera inactivos.

Actualización de la clase de entorno

Si sigues teniendo problemas después de optimizar el entorno, actualiza la clase de entorno. Cada instancia de clase duplica los recursos informáticos disponibles para que tu entorno ejecute las tareas.

Información relacionada

Ajuste del rendimiento para Apache Airflow en Amazon MWAA

Configuración de la clase de entorno de Amazon MWAA

Referencia de configuración en el sitio web de Apache Airflow

Sin comentarios

Contenido relevante