将本地对象存储迁移到S3 - Snowball + DataSync

0

【以下的问题经过翻译处理】 客户想要将其带有数据的IPV安装从现有的基础架构迁移到AWS。

现有的存储层依赖于他们自己的对象存储解决方案,该解决方案具有S3兼容的API (https://docs.ceph.com/en/latest/radosgw/s3/)。现在客户希望将70TB的内容与整个IPV套件一起迁移到AWS。

尽管与IPV联系并根据其需求进行了处理,但数据迁移仍未解决。我们已经讨论了DataSync和SnowBall。

DataSync可以支持on prem object store as source并保持元数据完整,并且它可以用于完全迁移,最终定期同步直到切换完成,但使用专用的1Gbit / s连接移动70TB需要8-9天。我认为他还需要购买Direct Connect来确保达到预期速度。

然而,我更倾向于为客户提供SnowBall以进行初始的大容量移动,然后使用DataSync以后保持数据同步。SnowBall允许复制on-prem对象存储及其元数据并将其移动到S3吗?

profile picture
专家
已提问 3 个月前17 查看次数
1 回答
0

【以下的回答经过翻译处理】 关于从本地Ceph将数据转移到AWS,需要考虑以下几点:

(1)这是哪个版本/发行版的Ceph?

(2)你是想从rbd、rgw和cephfs转移数据,还是只需要rgw?

(3)你可以使用DataSync从rgw传输数据,但如果你有一个必须满足的时间表,需要有一个相当不错的连接来迁移70TB的数据。

(4)你可以使用Snowball Edge将数据从Ceph传输到Snowball进行大规模迁移,但如果你使用S3进行数据传输,它将无法保留元数据(如果使用文件接口/NFS,则可以保留POSIX元数据,但速度会比使用S3端点慢得多)。使用此方法后,你可以在数据导入到S3后使用DataSync同步元数据和任何更新。注意:Snowball Edge上的S3支持S3 API/CLI的子集,因此需要进行测试。

profile picture
专家
已回答 3 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则