将本地对象存储迁移到S3 - Snowball + DataSync

Question

【以下的问题经过翻译处理】 客户想要将其带有数据的IPV安装从现有的基础架构迁移到AWS。

现有的存储层依赖于他们自己的对象存储解决方案，该解决方案具有S3兼容的API ()。现在客户希望将70TB的内容与整个IPV套件一起迁移到AWS。

尽管与IPV联系并根据其需求进行了处理，但数据迁移仍未解决。我们已经讨论了DataSync和SnowBall。

DataSync可以支持[on prem object store as source](https://aws.amazon.com/blogs/aws/aws-datasync-adds-support-for-on-premises-object-storage/)并保持元数据完整，并且它可以用于完全迁移，最终定期同步直到切换完成，但使用专用的1Gbit / s连接移动70TB需要8-9天。我认为他还需要购买Direct Connect来确保达到预期速度。

然而，我更倾向于为客户提供SnowBall以进行初始的大容量移动，然后使用DataSync以后保持数据同步。SnowBall允许复制on-prem对象存储及其元数据并将其移动到S3吗？

Answer

【以下的回答经过翻译处理】 关于从本地Ceph将数据转移到AWS，需要考虑以下几点：

（1）这是哪个版本/发行版的Ceph？

（2）你是想从rbd、rgw和cephfs转移数据，还是只需要rgw？

（3）你可以使用DataSync从rgw传输数据，但如果你有一个必须满足的时间表，需要有一个相当不错的连接来迁移70TB的数据。

（4）你可以使用Snowball Edge将数据从Ceph传输到Snowball进行大规模迁移，但如果你使用S3进行数据传输，它将无法保留元数据（如果使用文件接口/NFS，则可以保留POSIX元数据，但速度会比使用S3端点慢得多）。使用此方法后，你可以在数据导入到S3后使用DataSync同步元数据和任何更新。注意：Snowball Edge上的S3支持S3 API/CLI的子集，因此需要进行测试。

将本地对象存储迁移到S3 - Snowball + DataSync

相关内容