DAG导入错误在解决后仍然未在用户界面中消失

0

【以下的问题经过翻译处理】 我在托管 Airflow 环境中的 Airflow Web UI 遇到了一个问题。我在 S3 的 Airflow 指定桶中上传了一个 DAG 文件。它有几个导入错误。我修复了错误并重新上传了文件。但我仍然在用户界面上看到了错误。DAG 运行正常,没有任何问题。

我想,既然网络服务器进程没有重启,那么它肯定不知道已经完成了修复。于是,我在环境的 Airflow 配置选项中做了一个小改动,从而迫使服务重新启动。但还是无济于事。

我有几个问题:

  1. 为什么没有重新启动或停止 Airflow 环境的选项?这将有助于降低客户的成本,也有助于在对配置进行任何更改后重新启动用户界面。
  2. 如何让 Web 服务器进程知道 DAG 导入错误已解决,从而不再在用户界面中显示错误?
profile picture
专家
已提问 5 个月前13 查看次数
1 回答
0

【以下的回答经过翻译处理】 虽然没有专门的重启选项,但添加/删除/更改任意配置覆盖或日志级别选项都会强制重启。

由于 Airflow 中有许多依赖项(如元数据库)无法轻易停止,因此无法选择停止环境。作为替代方案,可以通过 API 或 CloudFormation 创建和销毁环境。

MWAA 运行的是开源 Airflow(1.10.12 或 2.0.2),不会改变其行为。如果网络服务器没有更新为无错误,则可能是负责序列化 DAG 的调度程序尚未完成或仍在出错。查看 CloudWatch 中的 DAG 处理日志(可能需要 INFO 级别的日志记录)。您还可以使用 https://github.com/aws/aws-mwaa-local-runner 在本地进行调试。

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则