关于使用DMS构建数据湖的问题

0

【以下的问题经过翻译处理】 一位客户正在实施数据湖,我正在评估使用DMS将数据从本地MS SQL数据库拉入到S3中。在此过程中,我想了解DMS的以下几点:

  1. 是否有很多用户广泛使用DMS?
  2. 使用SQL Server Change Tracking 的DMS示例
  3. 能处理多少数据量?
  4. 通过VPN运行 - 您是否了解有什么问题?
  5. DMS已知问题/限制(如大型二进制对象等)
  6. 对于本地SQL Server,它需要哪些端口/访问(帐户)?
  7. 在本地SQL Server上的开销是多少?
profile picture
EXPERTE
gefragt vor 5 Monaten70 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 1. 是否有很多用户广泛使用DMS?是的,迄今已有超过100,000个用户通过DMS转移到AWS上。 2.能处理多少数据量?迄今为止还没有达到无法跟上的极限。 3. 在VPN上运行,您知道有任何问题吗?除非使用CDC,否则CDC更改表可能会变得更大,如果没有足够的带宽将数据发送到云端的DMS实例。 4. DMS的已知问题/限制(如大型二进制对象等)?所有问题都已记录在文档中:https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Source.SQLServer.html 5. 对于本地SQL Server,它需要哪些端口/访问(帐户)?需要1433端口以及对日志和CDC表的sysadmin访问权限。 6. 在本地SQL Server上的开销是多少?这取决于具体情况。事务性复制将向事务日志中添加更多信息,生成更大的日志。 CDC表将占用客户数据库中更多的空间,并增加一些sqlagent任务以进行清理。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen