Glue Job 错误(An error occurred while calling o100.pyWriteDynamicFrame. Illegal empty schema)

0

【以下的问题经过翻译处理】 嗨 亲爱的,

希望一切都很好!

我正在从事一个将数据从 Google Bigquery 迁移到 Amazon S3 的项目,我刚刚关注了 AWS 博客中的项目(<https://aws.amazon.com/blogs/big-data/migrating-data-from-google- bigquery-to-amazon-s3-using-aws-glue-custom-connectors/>) 这是一个很好的例子。

但是当我完成所有需要的步骤时,我遇到了这个问题:错误是: An error occurred while calling o100.pyWriteDynamicFrame. Illegal empty schema

你能指导我如何解决这个问题吗?

提前感谢您的回答! Basem

profile picture
专家
已提问 5 个月前45 查看次数
1 回答
0

【以下的回答经过翻译处理】 你好,

该错误似乎表明启动写入目标的步骤得到了一个空的 DynamicFrame 作为输入。 您确定您正在阅读的表格已填充吗?

您应该尝试查看作业日志。

在 Glue Studio 中打开作业,然后选择选项卡 Runs 或在左窗格中选择 Monitoring 然后按照此 [文档页面](https://docs.aws.amazon.com/glue /latest/ug/monitoring-chapter.html#monitoring-job-run-logs)。 寻找其他错误,这些错误可能在连接超时或特权问题之前发生,这些错误可能没有中断作业但导致输入为空。

读取数据后,是否进行任何处理?

如果没有错误并且您可以在 PySpark 中管理代码,克隆作业 ,以手动编辑模式打开它,然后尝试打印架构并显示内容。

希望这可以帮助,

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则