使用DMS进行持续加载/复制/增量加载的问题

0

【以下的问题经过翻译处理】 目前,用户正在使用AWS数据库迁移服务(DMS)从不同的来源进行一次性负载和持续负载到Redshift中。

当用户进行一次性负载时,DMS非常好用。然而,在进行持续加载/复制/增量加载时会出现一些问题。

有时错误消息日志序列文件中的计数与实际情况不符,即使该特定日志文件存在于服务器上。

由于用户正在生产中使用这个工具进行日常更新,每当出现问题就重新启动任务并不是一个好的解决方案。

关于SQL服务器,一次性负载也基本没问题但是实时复制需要在SQL服务器上添加太多的功能,如CDC、复制等。

由于我们的SQL服务器采用了AlwaysOn技术,在服务器中添加复制会增加负载、增加延迟,并需要更多的人力来解决复制问题。Always On是比复制更先进的功能,维护量少。

是否有任何替代工具可以避免所有这些问题?例如AWS Glue、AWS数据管道、任何其他第三方工具。

profile picture
专家
已提问 5 个月前8 查看次数
1 回答
0

【以下的回答经过翻译处理】 几乎所有支持持续复制的供应商都基于事务日志-Oracle、SQL Server和MySQL都具备这一特性。这适用于AWS DMS以及Attunity等第三方工具。

如果实时复制不是必需的,则可以使用可以预定运行的JDBC连接器程序之一。这样的程序的理性是根据表中的增量列跟踪更改-时间戳或唯一的顺序值。这类似于https://redshiftsupport.matillion.com/customer/portal/articles/2955330

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则