当源端点为S3时,DMS迁移任务未创建CDC文件。

0

【以下的问题经过翻译处理】 过去,当目标端点被配置为S3存储桶时,DMS迁移任务成功地在cdc-files文件夹中创建了交易文件。

然而今天重新部署后,该任务已停止创建cdc交易文件,但更新和应用的更新正确显示通过cdc传递的更新。我没有看到任何变化。

在CloudWatch日志中没有指示是否已存储文件。

目标存储桶实际情况: No Files

目标存储桶期望情况: Expected

编辑:

由于某些未知原因,cdc-files现在被存储到完整的加载目录中。目前正在查看目标端点设置,是否有任何指导AWS吗?

Here is where

profile picture
专家
已提问 3 个月前31 查看次数
1 回答
0

【以下的回答经过翻译处理】 你好,

当AWS DMS使用S3作为目标运行CDC任务时,默认情况下,它会将源数据库中记录的所有行更改存储在一个或多个文件中,每个表的一组更改文件都位于与该表关联的单个目标目录中。 AWS DMS针对迁移到Amazon S3目标终点的每个数据库表均创建了许多目标目录。

  • 在屏幕截图中可以看到这种行为,完整的加载和CDC .csv文件都位于S3存储桶内的同一目录中。

现在,要以捕获源数据库更改的形式捕获事务顺序,可以指定S3终点点设置,将所有数据库表的行更改存储在一个或多个.csv文件中。这些CDC文件位于指定在S3目标终点设置中的单个事务目录中。这些CDC事务.csv文件遵循以下命名约定:

CDC_TXN-timestamp.csv

  • 在“预期目标桶”屏幕截图中可以注意到这一点,因为.csv文件位于S3存储桶内的另一个目录中,并且遵循上述命名约定。

请参阅以下文档以获取更多信息: [+] https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.S3.html#CHAP_Target.S3.EndpointSettings.CdcPath

为了告诉AWS DMS以按事务顺序存储所有行更改,即将所有CDC更改存储在单独的目录中,请确保按以下方式正确配置S3终点:

1.将目标上的PreserveTransactions S3设置设置为true。 2.将目标上的CdcPath S3设置设置为您想要AWS DMS存储.csv事务文件的相对文件夹路径。

注意:AWS DMS 会在默认 S3 目标桶和工作目录下创建此路径,或在使用目标上的 BucketName 和 BucketFolder S3 设置指定的桶和桶文件夹下创建此路径。

如果需要特定账户的帮助,请随时使用以下链接向 AWS 申请支持案例: https://console.aws.amazon.com/support/home#/case/create

profile picture
专家
已回答 3 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则