使用DMS进行持续加载/复制/增量加载的问题

0

【以下的问题经过翻译处理】 目前,用户正在使用AWS数据库迁移服务(DMS)从不同的来源进行一次性负载和持续负载到Redshift中。

当用户进行一次性负载时,DMS非常好用。然而,在进行持续加载/复制/增量加载时会出现一些问题。

有时错误消息日志序列文件中的计数与实际情况不符,即使该特定日志文件存在于服务器上。

由于用户正在生产中使用这个工具进行日常更新,每当出现问题就重新启动任务并不是一个好的解决方案。

关于SQL服务器,一次性负载也基本没问题但是实时复制需要在SQL服务器上添加太多的功能,如CDC、复制等。

由于我们的SQL服务器采用了AlwaysOn技术,在服务器中添加复制会增加负载、增加延迟,并需要更多的人力来解决复制问题。Always On是比复制更先进的功能,维护量少。

是否有任何替代工具可以避免所有这些问题?例如AWS Glue、AWS数据管道、任何其他第三方工具。

profile picture
EXPERTE
gefragt vor 6 Monaten12 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 几乎所有支持持续复制的供应商都基于事务日志-Oracle、SQL Server和MySQL都具备这一特性。这适用于AWS DMS以及Attunity等第三方工具。

如果实时复制不是必需的,则可以使用可以预定运行的JDBC连接器程序之一。这样的程序的理性是根据表中的增量列跟踪更改-时间戳或唯一的顺序值。这类似于https://redshiftsupport.matillion.com/customer/portal/articles/2955330

profile picture
EXPERTE
beantwortet vor 6 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen