在完成数据加载后，在S3存储桶之间移动文件

Question

【以下的问题经过翻译处理】 大家好，

我有一个通过 SFTP 传输接受 20 个 CSV 文件的 s3 存储桶，我想将这 20 个文件移动到另一个 s3 存储桶以进行处理，并且仅当所有 20 个文件都已加载到第一个存储桶中时。

在所有 20 个文件都完全加载到第一个存储桶中以触发传输到第二个存储桶的情况下，进行该传输的最佳选择是什么？

如果我使用 lambda 监听 s3 PutObject 事件，如果同时生成 20 个事件，是否没有并行调用的风险？

谢谢。

Answer

【以下的回答经过翻译处理】 我会使用Lambda函数来触发任何创建操作，并使用类似以下逻辑的代码：

```
get count of objects in bucket
if count = 20 then
   get create datetime for triggered object
   get create datetime of objects in the bucket
   loop through datetimes
      find the oldest create datetime
  if triggered object datetime = oldest datetime
     move the files
  end
end
```

在完成数据加载后，在S3存储桶之间移动文件

相关内容