如何将大量数据从一个 Amazon S3 存储桶传输到另一个存储桶？

解决方法

要将大量数据从一个 Amazon S3 存储桶传输到另一个存储桶，请使用以下方法之一：

• AWS 命令行界面 (AWS CLI)
• 跨区域复制 (CRR) 或同区域复制 (SRR)
• Amazon S3 批量操作
• S3DistCP 和 Amazon EMR
• AWS DataSync

**注意：**如果您在运行 AWS CLI 命令时收到错误，请参阅 AWS CLI 错误故障排除。此外，请确保您使用的是最新版本的 AWS CLI。

AWS CLI

为缩短数据传输时间，请将传输拆分为多个互斥的操作。例如，使用 AWS CLI 运行多个并行操作，例如 aws s3 cp、aws s3 mv 或 aws s3 sync。当您使用 --exclude and --include 参数按文件名筛选操作时，您可以创建更多上传线程。

**注意：**由于 --exclude 和 --include 参数是在客户端进行处理的，因此本地计算机上的资源可能会影响操作的性能。

要将大量数据从一个存储桶复制到另一个存储桶，请运行以下命令：

**注意：**文件名以数字开头。

1. 运行以下 cp 命令，以复制名称以数字 0 到 4 开头的文件：

   aws s3 cp s3://source-awsexamplebucket/ s3://destination-awsexamplebucket/ --recursive --exclude "*" --include "0*" --include "1*" --include "2*" --include "3*" --include "4*"
   

2. 在第二个 AWS CLI 操作中运行以下 cp 命令，以复制名称以数字 5 到 9 开头的文件：

   aws s3 cp s3://source-awsexamplebucket/ s3://destination-awsexamplebucket/ --recursive --exclude "*" --include "5*" --include "6*" --include "7*" --include "8*" --include "9*"
   

您还可以自定义以下 AWS CLI S3 配置值，以缩短数据传输时间：

• 使用 multipart_chunksize 设置 AWS CLI 在单个文件分段上传中上传的每个分段的大小。您可以将较大的文件分解为较小的分段，从而加快上传速度。
  **注意：**对于分段上传，您最多可以将单个文件拆分为 10,000 个不同的分段进行上传。验证您所设置的区块大小是否可以平衡分段文件大小和分段数量。
• 使用 max_concurrent_requests 设置您一次可以发送到 Amazon S3 的请求数。默认值为 10，但可将其增加到更高值。验证您的计算机是否有足够的资源来支持最大并发请求数。

CRR 或 SSR

在源存储桶上设置 CRR 或 SSR，以允许 Amazon S3 自动将新对象从源存储桶复制到目标存储桶。要筛选 Amazon S3 复制的对象，请使用前缀或标签。有关详细信息，请参阅 Replication configuration file elements。

配置复制后，Amazon S3 仅会将新对象复制到目标存储桶，而不是现有对象。有关详细信息，请参阅 Replicating existing objects with Batch Replication 和 What isn't replicated with replication configurations?

Amazon S3 批量操作

您可以使用 Amazon S3 批量操作通过单个请求复制多个对象。当创建批量操作作业时，您可以使用 Amazon S3 清单报告来指定 Amazon S3 要执行操作的对象。或者，您可以使用 CSV 清单来指定批量作业。然后，Amazon S3 批量操作会调用 API 来执行操作。

批量操作作业完成后，您将收到一则通知和完成报告（可选）。

S3DistCp 和 Amazon EMR

Amazon EMR 上的 S3DistCp 操作可以跨 Amazon S3 存储桶并行复制大量对象。S3DistCp 首先将文件从源存储桶复制到 Amazon EMR 集群中的 Worker 节点。然后，该操作将文件从 Worker 节点写入目标存储桶。有关详细信息，请参阅 Seven tips for using S3DistCp on Amazon EMR to move data efficiently between HDFS and Amazon S3。

**重要事项：**由于您必须将 Amazon EMR 与 S3DistCp 结合使用，因此请务必查看 Amazon EMR 定价。

AWS DataSync

要使用 AWS DataSync 将大量数据从一个 Amazon S3 存储桶移动到另一个存储桶，必须创建一个传输位置。有关通用存储桶，请参阅 Creating your transfer location for an Amazon S3 general purpose bucket。有关 Outpost 存储桶，请参阅 Creating your transfer location for an S3 on Outposts bucket。

注意：

• 使用 DataSync 时，会产生额外费用。在使用 DataSync 之前，请查看 Evaluating S3 request costs when using DataSync 和 Storage class considerations with Amazon S3 transfers。
• 如果您传输带有前缀的 S3 对象，则 DataSync 会将这些前缀视为目录，并将其计入 DataSync 配额。

相关信息

如何确定 Amazon S3 中的数据传输成本？