为什么即使启用了作业书签,我的 AWS Glue ETL 作业也要重新处理数据?

1 分钟阅读
0

我为 AWS Glue 作业启用了作业书签,但该作业仍在重新处理数据。

解决方法

以下是在启用作业书签后,提取、转换和加载 (ETL) 作业可能会重新处理数据的一些常见原因:

  • 您有多个带有作业书签的并发作业,最大并发率未设置为 1。
  • job.init() 对象缺失。
  • job.commit() 对象缺失。
  • formation_ctx 参数缺失。
  • 表的主键未按顺序排列(仅限 JDBC 连接)。
  • 上次作业运行后,源数据已被修改。

有关上述各个问题的详细信息,请参阅错误:启用作业书签后,作业在重新处理数据


相关信息

使用作业书签来跟踪已处理的数据

AWS 官方
AWS 官方已更新 1 年前