S3 批量重命名

0

【以下的问题经过翻译处理】 一位客户在一个 S3 存储桶中有 200,000 个没有任何前缀的 csv 文件。

csv 文件从 0kb 到 400mb 不等。他们需要重命名所有文件。

他们使用两个带有 S3 mv 命令的 EC2 来重命名文件,它很慢并且会超时。

有没有更有效的方法?或更好的方法?

profile picture
EXPERTE
gefragt vor 6 Monaten36 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 以下是我们可以注意的事情清单:

EC2 实例是否与 s3 存储桶位于同一区域? 默认情况下,s3 CLI 使用 10 个并发请求。要求客户增加它以最大限度地利用网络带宽并尽快完成操作。在此处阅读有关 S3 cli 配置的更多信息:https://docs.aws.amazon.com/cli/latest/topic/s3-config.html

此外,他们是使用 NAT 网关、VPC 端点还是通过公共互联网?如果他们碰巧使用 NAT 实例,请确保 NAT 实例有足够的资源来支持请求/流量。

也可以考虑使用 SDK 重命名文件。例如,Python 具有 copy_from 函数,该函数实质上将重命名文件,并且它们也可以保留大部分元数据:<https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3 .html#S3.Object.copy_from>

profile picture
EXPERTE
beantwortet vor 6 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen