Glue Job 错误(An error occurred while calling o100.pyWriteDynamicFrame. Illegal empty schema)

0

【以下的问题经过翻译处理】 嗨 亲爱的,

希望一切都很好!

我正在从事一个将数据从 Google Bigquery 迁移到 Amazon S3 的项目,我刚刚关注了 AWS 博客中的项目(<https://aws.amazon.com/blogs/big-data/migrating-data-from-google- bigquery-to-amazon-s3-using-aws-glue-custom-connectors/>) 这是一个很好的例子。

但是当我完成所有需要的步骤时,我遇到了这个问题:错误是: An error occurred while calling o100.pyWriteDynamicFrame. Illegal empty schema

你能指导我如何解决这个问题吗?

提前感谢您的回答! Basem

profile picture
EXPERTE
gefragt vor 5 Monaten50 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 你好,

该错误似乎表明启动写入目标的步骤得到了一个空的 DynamicFrame 作为输入。 您确定您正在阅读的表格已填充吗?

您应该尝试查看作业日志。

在 Glue Studio 中打开作业,然后选择选项卡 Runs 或在左窗格中选择 Monitoring 然后按照此 [文档页面](https://docs.aws.amazon.com/glue /latest/ug/monitoring-chapter.html#monitoring-job-run-logs)。 寻找其他错误,这些错误可能在连接超时或特权问题之前发生,这些错误可能没有中断作业但导致输入为空。

读取数据后,是否进行任何处理?

如果没有错误并且您可以在 PySpark 中管理代码,克隆作业 ,以手动编辑模式打开它,然后尝试打印架构并显示内容。

希望这可以帮助,

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen