MWAA-我可以使用外部程序(非Python)-sqlcmd或bcp吗?

0

【以下的问题经过翻译处理】 我能在MWAA中安装/部署像sqlcmd或bcp这样的独立工具吗?这些是用于在MS SQL Server上移动数据的Linux工具。我们在我们的Airflow Linux箱子上使用这些,但不知道是否支持在MWAA中使用。 基本上,我需要在MWAA上安装非pip依赖项。

profile picture
专家
已提问 5 个月前12 查看次数
1 回答
0

【以下的回答经过翻译处理】 你好,

请注意,您可以使用BashOperator任务在MWAA实例中运行bash命令。然而,安装mysql-tools需要sudo命令,在MWAA中是不允许执行sudo命令的。

如果适用于您,您可以尝试以下方法:

  1. 您可以使用RDS MySQL服务器与MWAA一起,并在它们之间建立连接。更多信息,请参见https://docs.aws.amazon.com/mwaa/latest/userguide/samples-sql-server.html。要创建Apache Airflow v2连接,请遵循https://docs.aws.amazon.com/mwaa/latest/userguide/samples-ssh.html#samples-ssh-connection中的“创建新的Apache Airflow连接”部分。
  2. 您还可以创建一个Airflow任务,连接到EC2实例并在该实例中执行BCP命令/脚本。为此,您需要在公共子网中创建一个EC2实例,并设置所需的SQL Server库以执行BCP脚本。然后在DAG文件中创建一个SSHOperator任务以连接到EC2实例并执行脚本。

对于MWAA中的非pip依赖项,建议您使用自定义插件。要创建自定义插件,您需要根据用例下载所需的包并将文件压缩为plugins.zip。有关如何创建自定义插件的详细信息,请参见以下文档,

  1. https://docs.aws.amazon.com/mwaa/latest/userguide/samples-oracle.html
  2. https://docs.aws.amazon.com/mwaa/latest/userguide/samples-hive.html

如果您有其他问题或疑虑,请随时与我们联系。我们将非常乐意帮助您。

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则