针对突发上传的 S3 事件

Question

【以下的问题经过翻译处理】 您好，

我们计划每天通过AWS Datasync从On Premise批量传输约2万份小型PDF文件（约40 KB）到云端（S3）。我们希望每天跟踪已传输的文件，并在处理过程中不断更新处理状态。

请问有没有人能建议实现的最佳方式？我们最初考虑使用S3事件调用Lambda在Dynamo DB表中插入记录，但由于可能会有相同S3存储桶内的大量文件突发传入，可能会对Dynamo DB产生限制问题，或者会达到帐户的Lambda限制。

请告诉我我们可以实现这一目标的最佳方式。

先感谢您。

此致
敬礼，
Dhaval Mehta

Answer

【以下的回答经过翻译处理】 有多种方法可以实现这一点。但这实际上取决于您要跟踪的状态类型。

对于在短时间内进行通知，可以利用对象上传的事件通知，并将其与SNS / SQS / Lambda配对，并使用某种类型的数据库或文本/ csv文件来跟踪上传的对象。这将需要编写代码。

如果跟踪可以等待24小时以上，那么S3清单是更好的选择。它非常易于配置，无需任何代码。

相关内容