Glue Studio Designer：使用pyspark函数

Question

【以下的问题经过翻译处理】 我使用Glue Studio Designer canvas特性设计了一个Glue job，并在其中使用了自定义转换。然而，我在代码中无法利用像 'from pyspark.sql.functions import  *' 这样的函数，因为我会出现错误“NameError：name xyz not defined”。

我如何在Canvas工具中利用这些函数？

Answer

【以下的回答经过翻译处理】 你好，

是的，你需要在自定义转换功能中导入所需的所有库。

如果你想要运行 SparkSQL，你也可以使用 SQL 转换功能。

希望这可以帮到你。

Glue Studio Designer：使用pyspark函数

Conteúdo relevante