在全量加载期间源端点出现了额外的文件

0

【以下的问题经过翻译处理】 当DMS数据迁移任务被配置为Full-Load并连接到类型为S3 Bucket的目标端点时,运行任务时会在一些表中添加一些幻影文件。这些额外的文件以时间戳命名,而不是LOAD00000X(如下图所示)。

Extra Files

我猜测这些是在表的迁移期间或之后对源表进行的更改,因为它们有额外的列标记“ I”,“ U”和“ D”,表示数据操作,与CDC存款一样常见。

这些文件正在复制到第二个S3 Bucket,该Bucket是另一个数据迁移任务的源,但是这些“额外”文件会导致全量加载期间第二个任务中的表错误。

例如,当存在额外文件时,我会收到错误,指示任务期望给定表格的6列,但找到了7列。当S3源Bucket中不存在以上额外文件时,任务启动时不会出现表格错误。

我尝试寻找控制此行为或配置第二个任务以正确处理额外文件的设置,但我没有成功。

profile picture
专家
已提问 8 个月前42 查看次数
1 回答
0

【以下的回答经过翻译处理】 你好,

很高兴听到有人回答了!

另请注意,您在 CSV 文件中观察到的额外字段符合预期行为,因为在使用 AWS DMS 迁移到 S3 存储桶时,会将其他字段添加到每个迁移的记录中。正如您正确提到的,其他字段指示应用于源数据库中的记录的操作,即字段包含字母 I(插入)、U(更新)或 D(删除),以指示该行是在源数据库中插入、更新或删除的。

可以根据迁移类型并通过配置额外连接属性(includeOpForFullLoad、cdcInsertsOnly 和 cdcInsertsAndUpdates)来控制此行为。

要详细了解更多信息,请参阅以下文档 [+]:

[+] 在迁移的 S3 数据中指示源数据库操作 - https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.S3.html#CHAP_Target.S3.Configuring.InsertOps

profile picture
专家
已回答 8 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则