运行SQL脚本时,AWS Glue Notebook 遇到问题。

0

【以下的问题经过翻译处理】 我正在遵循以下链接中概述的步骤: https://aws.amazon.com/blogs/big-data/introducing-native-delta-lake-table-support-with-aws-glue-crawlers/

(1) 使用Amazon Athena查询Delta Lake表没有问题,可以查询出数据。

(2) AWS Glue Notebook有问题:

(a) 创建了名为“AWSGlueServiceRoleDefault”的IAM角色,其中包括

(i) AmazonS3FullAccess,这是AWS管理的

(ii) AWSGlueServiceRole,这是AWS管理的

(iii) PassRolePolicy,这是客户内联的

截图如下: image

PassRolePolicy 如下: image

按照链接中的说明,使用我上面创建的IAM角色("AWSGlueServiceRoleDefault"),Python代码的第一部分能够运行,如下所示:

截图如下: image

但是SQL部分却抛出了一系列Py4JJavaError:

截图如下: Py4JJavaError

即使是以下Python代码试图检索关于表的信息也会生成相同的错误:

截图如下: errors

以上错误是可复现的,可以在此处查看:https://justpaste.it/1zxzz

如果您可以帮我查看哪部分导致了错误以及如何纠正它,我将不胜感激。

profile picture
전문가
질문됨 5달 전24회 조회
1개 답변
0

【以下的回答经过翻译处理】 Delta格式的库默认情况下未启用。 作业需要一个参数:--datalake-formats = delta。

在Notebook 中,在运行任何其他单元之前,您需要将其作为配置传递(一旦会话启动,它将无效)。

%configure
{
   “--datalake-formats”:“delta”
}
profile picture
전문가
답변함 5달 전

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인