Glue Studio Designer:使用pyspark函数

0

【以下的问题经过翻译处理】 我使用Glue Studio Designer canvas特性设计了一个Glue job,并在其中使用了自定义转换。然而,我在代码中无法利用像 'from pyspark.sql.functions import *' 这样的函数,因为我会出现错误“NameError:name xyz not defined”。

我如何在Canvas工具中利用这些函数?

profile picture
エキスパート
質問済み 5ヶ月前11ビュー
1回答
0

【以下的回答经过翻译处理】 你好,

是的,你需要在自定义转换功能中导入所需的所有库。

如果你想要运行 SparkSQL,你也可以使用 SQL 转换功能。

希望这可以帮到你。

profile picture
エキスパート
回答済み 5ヶ月前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン