如何用S3备份本地的大量小文件

0

【以下的问题经过翻译处理】 一个客户希望使用S3作为内部文件的备份解决方案:

他们有大量存储在NAS(NFS服务器)上的小文件。 这些文件是客户档案(JSON文件),需要不时更新。 为了解决性能问题,他们在NAS上设置了noatime属性,这意味着我们无法知道文件何时被修改。

有没有办法以高效的方式帮助客户备份文件?使用S3同步可能会有帮助,但是可能会带来两个问题:NFS服务器不知道文件的修改日期,S3同步能否正常工作?S3同步会产生大量的S3请求(导致账单增加)吗?

profile picture
전문가
질문됨 5달 전11회 조회
1개 답변
0

【以下的回答经过翻译处理】 时间戳atime告诉您文件上次读取/访问的时间。每次读取文件都更新atime会导致很多通常不必要的IO,因此通过设置noatime文件系统挂载选项,您可以避免性能下降。如果您关心的仅是文件内容上次变更的时间戳,则应查看mtime。

他们在本地是否有VMware环境?您可能想看看AWS DataSync与S3 Sync之间的区别。在我们的FAQ中,它比S3 CLI更具优势:

  • AWS DataSync完全自动化和加速将大型活动数据集移动到AWS,比命令行工具快10倍
  • 它与Amazon S3本地集成
  • 它带有重试和网络弹性机制,网络优化,内置任务调度,通过DataSync API和控制台进行监视,以及提供细粒度可见性的CloudWatch指标,事件和日志来了解传输过程
profile picture
전문가
답변함 5달 전

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인

관련 콘텐츠