Glue Studio Designer:使用pyspark函数

0

【以下的问题经过翻译处理】 我使用Glue Studio Designer canvas特性设计了一个Glue job,并在其中使用了自定义转换。然而,我在代码中无法利用像 'from pyspark.sql.functions import *' 这样的函数,因为我会出现错误“NameError:name xyz not defined”。

我如何在Canvas工具中利用这些函数?

profile picture
EXPERT
demandé il y a 5 mois11 vues
1 réponse
0

【以下的回答经过翻译处理】 你好,

是的,你需要在自定义转换功能中导入所需的所有库。

如果你想要运行 SparkSQL,你也可以使用 SQL 转换功能。

希望这可以帮到你。

profile picture
EXPERT
répondu il y a 5 mois

Vous n'êtes pas connecté. Se connecter pour publier une réponse.

Une bonne réponse répond clairement à la question, contient des commentaires constructifs et encourage le développement professionnel de la personne qui pose la question.

Instructions pour répondre aux questions