运行SQL脚本时,AWS Glue Notebook 遇到问题。

0

【以下的问题经过翻译处理】 我正在遵循以下链接中概述的步骤: https://aws.amazon.com/blogs/big-data/introducing-native-delta-lake-table-support-with-aws-glue-crawlers/

(1) 使用Amazon Athena查询Delta Lake表没有问题,可以查询出数据。

(2) AWS Glue Notebook有问题:

(a) 创建了名为“AWSGlueServiceRoleDefault”的IAM角色,其中包括

(i) AmazonS3FullAccess,这是AWS管理的

(ii) AWSGlueServiceRole,这是AWS管理的

(iii) PassRolePolicy,这是客户内联的

截图如下: image

PassRolePolicy 如下: image

按照链接中的说明,使用我上面创建的IAM角色("AWSGlueServiceRoleDefault"),Python代码的第一部分能够运行,如下所示:

截图如下: image

但是SQL部分却抛出了一系列Py4JJavaError:

截图如下: Py4JJavaError

即使是以下Python代码试图检索关于表的信息也会生成相同的错误:

截图如下: errors

以上错误是可复现的,可以在此处查看:https://justpaste.it/1zxzz

如果您可以帮我查看哪部分导致了错误以及如何纠正它,我将不胜感激。

profile picture
EXPERTE
gefragt vor 5 Monaten24 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 Delta格式的库默认情况下未启用。 作业需要一个参数:--datalake-formats = delta。

在Notebook 中,在运行任何其他单元之前,您需要将其作为配置传递(一旦会话启动,它将无效)。

%configure
{
   “--datalake-formats”:“delta”
}
profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen