关于使用DMS构建数据湖的问题

0

【以下的问题经过翻译处理】 一位客户正在实施数据湖,我正在评估使用DMS将数据从本地MS SQL数据库拉入到S3中。在此过程中,我想了解DMS的以下几点:

  1. 是否有很多用户广泛使用DMS?
  2. 使用SQL Server Change Tracking 的DMS示例
  3. 能处理多少数据量?
  4. 通过VPN运行 - 您是否了解有什么问题?
  5. DMS已知问题/限制(如大型二进制对象等)
  6. 对于本地SQL Server,它需要哪些端口/访问(帐户)?
  7. 在本地SQL Server上的开销是多少?
profile picture
专家
已提问 10 个月前93 查看次数
1 回答
0

【以下的回答经过翻译处理】 1. 是否有很多用户广泛使用DMS?是的,迄今已有超过100,000个用户通过DMS转移到AWS上。 2.能处理多少数据量?迄今为止还没有达到无法跟上的极限。 3. 在VPN上运行,您知道有任何问题吗?除非使用CDC,否则CDC更改表可能会变得更大,如果没有足够的带宽将数据发送到云端的DMS实例。 4. DMS的已知问题/限制(如大型二进制对象等)?所有问题都已记录在文档中:https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Source.SQLServer.html 5. 对于本地SQL Server,它需要哪些端口/访问(帐户)?需要1433端口以及对日志和CDC表的sysadmin访问权限。 6. 在本地SQL Server上的开销是多少?这取决于具体情况。事务性复制将向事务日志中添加更多信息,生成更大的日志。 CDC表将占用客户数据库中更多的空间,并增加一些sqlagent任务以进行清理。

profile picture
专家
已回答 10 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则