1 回答
- 最新
- 投票最多
- 评论最多
0
【以下的回答经过翻译处理】 你好,
请注意,您可以使用BashOperator任务在MWAA实例中运行bash命令。然而,安装mysql-tools需要sudo命令,在MWAA中是不允许执行sudo命令的。
如果适用于您,您可以尝试以下方法:
- 您可以使用RDS MySQL服务器与MWAA一起,并在它们之间建立连接。更多信息,请参见https://docs.aws.amazon.com/mwaa/latest/userguide/samples-sql-server.html。要创建Apache Airflow v2连接,请遵循https://docs.aws.amazon.com/mwaa/latest/userguide/samples-ssh.html#samples-ssh-connection中的“创建新的Apache Airflow连接”部分。
- 您还可以创建一个Airflow任务,连接到EC2实例并在该实例中执行BCP命令/脚本。为此,您需要在公共子网中创建一个EC2实例,并设置所需的SQL Server库以执行BCP脚本。然后在DAG文件中创建一个SSHOperator任务以连接到EC2实例并执行脚本。
- 要创建BCP脚本:https://docs.microsoft.com/en-us/sql/linux/sql-server-linux-migrate-bcp?view=sql-server-ver15
- 要使用SSHOperator连接到EC2实例:https://docs.aws.amazon.com/mwaa/latest/userguide/samples-ssh.html
对于MWAA中的非pip依赖项,建议您使用自定义插件。要创建自定义插件,您需要根据用例下载所需的包并将文件压缩为plugins.zip。有关如何创建自定义插件的详细信息,请参见以下文档,
- https://docs.aws.amazon.com/mwaa/latest/userguide/samples-oracle.html
- https://docs.aws.amazon.com/mwaa/latest/userguide/samples-hive.html
如果您有其他问题或疑虑,请随时与我们联系。我们将非常乐意帮助您。
相关内容
- AWS 官方已更新 3 个月前
- AWS 官方已更新 3 个月前
- AWS 官方已更新 2 年前