使用DMS进行持续加载/复制/增量加载的问题

0

【以下的问题经过翻译处理】 目前,用户正在使用AWS数据库迁移服务(DMS)从不同的来源进行一次性负载和持续负载到Redshift中。

当用户进行一次性负载时,DMS非常好用。然而,在进行持续加载/复制/增量加载时会出现一些问题。

有时错误消息日志序列文件中的计数与实际情况不符,即使该特定日志文件存在于服务器上。

由于用户正在生产中使用这个工具进行日常更新,每当出现问题就重新启动任务并不是一个好的解决方案。

关于SQL服务器,一次性负载也基本没问题但是实时复制需要在SQL服务器上添加太多的功能,如CDC、复制等。

由于我们的SQL服务器采用了AlwaysOn技术,在服务器中添加复制会增加负载、增加延迟,并需要更多的人力来解决复制问题。Always On是比复制更先进的功能,维护量少。

是否有任何替代工具可以避免所有这些问题?例如AWS Glue、AWS数据管道、任何其他第三方工具。

profile picture
專家
已提問 6 個月前檢視次數 11 次
1 個回答
0

【以下的回答经过翻译处理】 几乎所有支持持续复制的供应商都基于事务日志-Oracle、SQL Server和MySQL都具备这一特性。这适用于AWS DMS以及Attunity等第三方工具。

如果实时复制不是必需的,则可以使用可以预定运行的JDBC连接器程序之一。这样的程序的理性是根据表中的增量列跟踪更改-时间戳或唯一的顺序值。这类似于https://redshiftsupport.matillion.com/customer/portal/articles/2955330

profile picture
專家
已回答 6 個月前

您尚未登入。 登入 去張貼答案。

一個好的回答可以清楚地回答問題並提供建設性的意見回饋,同時有助於提問者的專業成長。

回答問題指南