Glue Studio Designer:使用pyspark函数

0

【以下的问题经过翻译处理】 我使用Glue Studio Designer canvas特性设计了一个Glue job,并在其中使用了自定义转换。然而,我在代码中无法利用像 'from pyspark.sql.functions import *' 这样的函数,因为我会出现错误“NameError:name xyz not defined”。

我如何在Canvas工具中利用这些函数?

profile picture
EXPERT
asked 5 months ago11 views
1 Answer
0

【以下的回答经过翻译处理】 你好,

是的,你需要在自定义转换功能中导入所需的所有库。

如果你想要运行 SparkSQL,你也可以使用 SQL 转换功能。

希望这可以帮到你。

profile picture
EXPERT
answered 5 months ago

You are not logged in. Log in to post an answer.

A good answer clearly answers the question and provides constructive feedback and encourages professional growth in the question asker.

Guidelines for Answering Questions