如何将3GB的数据快速加载到内存中的存储/数据库解决方案？
0
【以下的问题经过翻译处理】 一个客户使用MSSQL来存储客户数据。每天他们将单个表加载到他们开发的基于内存的缓存解决方案中，数据由“tenantID”索引，每次从表格中选择单个tenant，一个tenant的数据至少为3GB并且有大约10M行。这个过程需要大约10分钟，但他们希望能将这个时间缩短到少于5分钟。
他们希望得到一些建议或者重新架构的方案，要求每天的加载进程速度都达到要求。例如：改变写入数据到表格的方式或者改变技术栈。
1개 답변
- 최신
- 최다 투표
- 가장 많은 댓글
0
【以下的回答经过翻译处理】 如果在 DynamoDB 中以“tenantID”作为低基数键本地实现，分段扫描仍将导致一个段必须处理 3 GB 分区键。 它很可能比他们当前的解决方案运行得更快，因为 DDB 可以使用单线程最终一致扫描操作维持 24 MB/秒的出口。
如果客户能够使用更高基数的主键（例如 GUID），则可以使用全局二级索引来实现按“tenantID”进行分组和索引。 这将允许通过使用分段扫描在基表上实现几乎无限的扫描速率。