AWS Glue Jupyter Notebook额外模块

0

【以下的问题经过翻译处理】 大家好,

我正在尝试使用Jupyter Notebook创建一个Glue作业,但是似乎无法导入外部模块。我按照这里的文档安装了外部模块https://docs.aws.amazon.com/glue/latest/ug/notebook-getting-started.html

%additional_python_modules s3://notebook-mod/simple_salesforce.whl

当我运行我的import statement单元格时,出现以下错误: Enter image description here

我有遗漏什么吗?谢谢!

profile picture
专家
已提问 5 个月前18 查看次数
1 回答
0

【以下的回答经过翻译处理】 您好,

你已经使用了正确的方法在Glue Studio Notebook中安装了外部python模块,该笔记本使用了Glue2.0/Glue 3.0。

为了调查此问题,我按照以下步骤,在我的环境中进行了设置:

  1. 创建Glue Studio Notebook(导航到Glue Console-->在左侧面板单击Glue Studio-->选择Jupyter Notebook)
  2. 从pypi(https://files.pythonhosted.org/packages/60/3c/647da942ce0e1f024dc3e188ebc60ee28972ba1254e691e3512511b9062a/simple_salesforce-1.12.1-py2.py3-none-any.whl)下载simple-salesforce.whl文件并上传到s3
  3. 使用以下代码安装simple_salesforce
%additional_python_modules s3://library/simple_salesforce-1.12.1-py2.py3-none-any.whl)

from simple_salesforce import Salesforce

它执行成功了,没有发生任何问题。在您的情况下,我怀疑您正在使用由Glue Devendpoint支持的Sagemaker Notebook,它使用的是Glue 1.0,不支持additional_python_modules。请您再次检查并确认是否使用了正确的notebook。

参考:

[1] https://docs.aws.amazon.com/glue/latest/ug/notebook-getting-started.html

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则