如果在一分钟内更新存储文件网关中共享中的文件,S3 版本就会消失

0

【以下的问题经过翻译处理】 大家好。

我们使用Storage Gateway的SMB文件共享+ S3版本控制来构建备份系统。 但我们发现S3版本控制存在缺失问题,如下所示: 更新文件历史记录:

2022-03-22 17:35:57 A
2022-03-22 17:36:51 B
2022-03-22 17:37:18 C

S3版本控制:

"LastModified":“2022-03-22 17:35:58” A
"LastModified":“2022-03-22 17:36:30” A
"LastModified":“2022-03-22 17:37:19” C
"LastModified":“2022-03-22 17:37:00” C

第二次更新的“B”文件版本控制缺失。 如果我在一分钟后将文件更新为“B”(例如:在2022-03-22 17:37:00之后),B将被存储为一个S3版本。

我在aws文档中发现了评论:

为了最大化写入性能,网关使用写回机制,其中数据首先被持久化到磁盘,然后异步地上传到S3。

·我们是否必须在上次更新之后至少超过一分钟再更新文件?

·“一分钟”正确吗?请告诉我们将文件存储在存储网关磁盘中后发送到S3的时间。

提前致谢。

Ryuu

profile picture
专家
已提问 4 个月前5 查看次数
1 回答
0

【以下的回答经过翻译处理】 S3文件网关尝试优化上传到S3桶中的版本数量,以减少网络带宽和存储成本。这有时会导致较少的对象数量,而非在NFS/SMB文件共享上发生的文件更新(数据或元数据)的数量。

如果您的目标是保留上传到文件共享中的每个文件版本在S3桶中,则建议使用文件上传通知功能。请参阅我们文档中的“获取文件上传通知”部分。您还可以在我们有关同一主题的博客中找到有关此功能的其他详细信息。此功能将使您或您的处理程序在上传某个文件的第二个版本之前等待“存储网关对象上传事件”的接收。

[[1]] https://docs.aws.amazon.com/filegateway/latest/files3/monitoring-file-gateway.html#get-notification

[[2]] https://aws.amazon.com/blogs/storage/processing-file-upload-notifications-from-aws-storage-gateway-on-amazon-s3

profile picture
专家
已回答 4 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则