Stay up to date with the latest from the Knowledge Center. See all new and updated Knowledge Center articles published in the last month and re:Post’s top contributors.
标记有以下标签的问题: 适用于 Apache Airflow 的亚马逊托管工作流程 (MWAA)
Amazon Managed Workflows for Apache Airflow (MWAA) is a managed orchestration service for Apache Airflow1 that makes it easier to set up and operate end-to-end data pipelines in the cloud at scale.
内容语言: 中文 (简体)
选择要筛选的标签
排序方式 最新
浏览下面列出的问题和回答,或者筛选和排序以缩小结果范围。
11 条结果
【以下的问题经过翻译处理】 我能在MWAA中安装/部署像sqlcmd或bcp这样的独立工具吗?这些是用于在MS SQL Server上移动数据的Linux工具。我们在我们的Airflow Linux箱子上使用这些,但不知道是否支持在MWAA中使用。
基本上,我需要在MWAA上安装非pip依赖项。
【以下的问题经过翻译处理】 你好,
我们希望通过编程方式向MWAA添加角色和权限。目前,这只能通过API实现,但所有端点都被拒绝。是否有突破口可以以编程方式创建角色并向其附加权限?
对于我们的情况,这是必需的,以使MWAA能够独立为多个租户提供服务,而不需要多个MWAA实例。
谢谢!
【以下的问题经过翻译处理】 Airflow 2.0.2的MWAA是否可以安装mysql程序包?如果不行,是否可以安装任何mysql-connector包来创建自定义Operator和Hook?
我是想解决部分依赖关系。
apache-airflow == 2.0.2
mysql-connector-python == 8.0.11
apache-airflow-providers-mysql ...
【以下的问题经过翻译处理】 我在托管 Airflow 环境中的 Airflow Web UI 遇到了一个问题。我在 S3 的 Airflow 指定桶中上传了一个 DAG 文件。它有几个导入错误。我修复了错误并重新上传了文件。但我仍然在用户界面上看到了错误。DAG 运行正常,没有任何问题。
我想,既然网络服务器进程没有重启,那么它肯定不知道已经完成了修复。于是,我在环境的 Airflow 配置选项...
【以下的问题经过翻译处理】 我需要使用BashOperator运行一个Python脚本。我把脚本放在S3存储桶的dags文件夹中,并使用BashOperator运行我的DAG。然而它显示错误:python3: can't open file 'hello_world.py': No such file or directory
我还注意到Airflow worker在一个临时脚本位置运行命令,...
【以下的问题经过翻译处理】 在使用MWAA的默认设置时,似乎创建的堆栈存在重复的逻辑ID,我怀疑这种重复是导致堆栈大部分停滞创建的原因。例如,逻辑ID DefaultPrivateRoute1 在我的堆栈中显示了三次,但后面两个从未完成(尽管堆栈表明其已完成)。
尽管存在错误,堆栈中的新VPC仍会显示在MWAA构建界面上,因此我使用它。我还选择使用公共网络来简化设置,并让MWAA创建新的安全组和...
【以下的问题经过翻译处理】 我们已经开始使用 MWAA 2.0.2,总体上运行良好,但奇怪的是,在尝试使用任何 AWS 提供者运算符用于一些“hello aws-world”DAGS 时,它们无法被找到或导入以供使用。这是一个 bug 吗?在 mwaa-local-runner 镜像以及实际服务本身中,情况似乎是相同的。
例如,以下代码(从 [module documentation](http...
【以下的问题经过翻译处理】 在我们迁移到MWAA之前,我们已经配置了Airflow系统并使用Sentry进行监控。我们想要继续在关键错误方面使用Sentry,同时使用CloudWatch来记录常规日志。我们已将Sentry的要求添加到requirements.txt,并按照Airflow文档中的说明添加了以下配置:
sentry.sentry_on=True
sentry.sentry_dsn=<...
【以下的问题经过翻译处理】 你好,我通过一个requirements.txt文件更新了我的MWAA环境,但它仍然处于更新状态。在调度器日志中,requirements_install和scheduler_console不断重复。
scheduler_console中的错误是“ERROR: You need to upgrade the database. Please run 'airflow ...
【以下的问题经过翻译处理】 选择以下一项的要点是什么::
* 数据管道,
*Step function
* 用于 Apache Airflow 的亚马逊托管工作流
【以下的问题经过翻译处理】 下一个Airflow版本何时可用?