Glue Studio Designer:使用pyspark函数

0

【以下的问题经过翻译处理】 我使用Glue Studio Designer canvas特性设计了一个Glue job,并在其中使用了自定义转换。然而,我在代码中无法利用像 'from pyspark.sql.functions import *' 这样的函数,因为我会出现错误“NameError:name xyz not defined”。

我如何在Canvas工具中利用这些函数?

profile picture
EXPERTO
preguntada hace 5 meses11 visualizaciones
1 Respuesta
0

【以下的回答经过翻译处理】 你好,

是的,你需要在自定义转换功能中导入所需的所有库。

如果你想要运行 SparkSQL,你也可以使用 SQL 转换功能。

希望这可以帮到你。

profile picture
EXPERTO
respondido hace 5 meses

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas