如何用S3备份本地的大量小文件

Question

【以下的问题经过翻译处理】 一个客户希望使用S3作为内部文件的备份解决方案：

他们有大量存储在NAS（NFS服务器）上的小文件。
这些文件是客户档案（JSON文件），需要不时更新。
为了解决性能问题，他们在NAS上设置了noatime属性，这意味着我们无法知道文件何时被修改。

有没有办法以高效的方式帮助客户备份文件？使用S3同步可能会有帮助，但是可能会带来两个问题：NFS服务器不知道文件的修改日期，S3同步能否正常工作？S3同步会产生大量的S3请求（导致账单增加）吗？

Answer

【以下的回答经过翻译处理】 时间戳*atime*告诉您文件上次读取/访问的时间。每次读取文件都更新atime会导致很多通常不必要的IO，因此通过设置noatime文件系统挂载选项，您可以避免性能下降。如果您关心的仅是文件内容上次变更的时间戳，则应查看mtime。

他们在本地是否有VMware环境？您可能想看看AWS DataSync与S3 Sync之间的区别。在我们的FAQ中，它比S3 CLI更具优势：

* AWS DataSync完全自动化和加速将大型活动数据集移动到AWS，比命令行工具快10倍
* 它与Amazon S3本地集成
* 它带有重试和网络弹性机制，网络优化，内置任务调度，通过DataSync API和控制台进行监视，以及提供细粒度可见性的CloudWatch指标，事件和日志来了解传输过程

如何用S3备份本地的大量小文件

Relevanter Inhalt