MWAA-我可以使用外部程序(非Python)-sqlcmd或bcp吗?

0

【以下的问题经过翻译处理】 我能在MWAA中安装/部署像sqlcmd或bcp这样的独立工具吗?这些是用于在MS SQL Server上移动数据的Linux工具。我们在我们的Airflow Linux箱子上使用这些,但不知道是否支持在MWAA中使用。 基本上,我需要在MWAA上安装非pip依赖项。

profile picture
EXPERTE
gefragt vor 5 Monaten17 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 你好,

请注意,您可以使用BashOperator任务在MWAA实例中运行bash命令。然而,安装mysql-tools需要sudo命令,在MWAA中是不允许执行sudo命令的。

如果适用于您,您可以尝试以下方法:

  1. 您可以使用RDS MySQL服务器与MWAA一起,并在它们之间建立连接。更多信息,请参见https://docs.aws.amazon.com/mwaa/latest/userguide/samples-sql-server.html。要创建Apache Airflow v2连接,请遵循https://docs.aws.amazon.com/mwaa/latest/userguide/samples-ssh.html#samples-ssh-connection中的“创建新的Apache Airflow连接”部分。
  2. 您还可以创建一个Airflow任务,连接到EC2实例并在该实例中执行BCP命令/脚本。为此,您需要在公共子网中创建一个EC2实例,并设置所需的SQL Server库以执行BCP脚本。然后在DAG文件中创建一个SSHOperator任务以连接到EC2实例并执行脚本。

对于MWAA中的非pip依赖项,建议您使用自定义插件。要创建自定义插件,您需要根据用例下载所需的包并将文件压缩为plugins.zip。有关如何创建自定义插件的详细信息,请参见以下文档,

  1. https://docs.aws.amazon.com/mwaa/latest/userguide/samples-oracle.html
  2. https://docs.aws.amazon.com/mwaa/latest/userguide/samples-hive.html

如果您有其他问题或疑虑,请随时与我们联系。我们将非常乐意帮助您。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen