跳至内容

如何提高在 Amazon S3 存储桶和 Amazon EC2 实例之间复制数据的传输速度?

2 分钟阅读
0

我想提高将数据从 Amazon Elastic Compute Cloud (Amazon EC2) 实例传输到 Amazon Simple Storage Service (Amazon S3) 存储桶的速度。

解决方法

**注意:**如果您在运行 AWS 命令行界面 (AWS CLI) 命令时收到错误,请参阅 AWS CLI 错误故障排除。此外,请确保您使用的是最新版本的 AWS CLI。

在 Amazon EC2 实例上使用增强联网

**先决条件:**如果您使用增强网络适配器 (ENA),则需要满足实例的增强联网先决条件。如果您使用 Intel 82599 VF 接口,请为您的实例做好增强联网准备。

使用 Amazon CloudWatch 查看实例的指标。如果实例的 NetworkPacketsOut 值大于您的预期值,请启用增强联网。

使用并行工作负载进行数据传输

要缩短完成数据传输所需的时间,请将传输拆分为多个互斥操作。例如,如果您使用 AWS CLI,则同时运行多个 cp、mv 或 sync AWS CLI 命令。

如果您跨多个前缀分布数据,请运行多个 AWS CLI 操作来同时执行单独的同步。有关说明,请参阅如何使用适用于 Amazon S3 的 AWS CLI 同步命令提高数据传输性能?中的运行多个 AWS CLI 操作部分

在 AWS CLI 上自定义上传配置

要加快数据传输,请为 Amazon S3 自定义以下 AWS CLI 配置值:

  • multipart_chunksize 值用于设置 AWS CLI 在单个文件分段上传中上传的每个分段的大小。优化此值可将较大的文件拆分为较小的分段,从而加快上传速度。
    **注意:**分段上传要求单个文件上传的不同分段数不超过 10,000 个。确保您所设置的分块大小可以平衡分段文件大小和分段数量。
  • 更改 max_concurrent_requests 值,增加您一次可以发送到 Amazon S3 的请求数。默认值为 10。增加此值后,可能会出现响应停滞。将更高的 max_concurrent_requests 值与并行工作负载组合,从而提升整体传输速度。默认情况下,AWS CLI 支持多线程。
    **注意:**确保计算机有足够的资源来支持最大并发请求数。

为 Amazon S3 使用 VPC 端点

如果您的实例与 Amazon S3 存储桶位于同一 AWS 区域,请使用 Amazon Virtual Private Cloud (Amazon VPC) 网关端点。

您可以在没有互联网网关、NAT 设备或 VPN 连接的情况下私密连接到 VPC。VPC 中的实例不需要公有 IP 地址即可与 Amazon S3 存储桶通信。当您使用 Amazon VPC 端点时,VPC 与 Amazon S3 之间的数据流量将在 AWS 网络上路由。

**注意:**适用于 Amazon S3 的 Amazon VPC 端点不支持跨不同 AWS 区域的请求。

在地理位置相距较远的区域之间使用 Amazon S3 Transfer Acceleration

当您的实例和 Amazon S3 存储桶位于地理位置相近的区域时,数据传输速度可能会提高。如果实例和存储桶位于地理位置相距较远的区域,请启用 Amazon S3 Transfer Acceleration。在启用 Amazon S3 Transfer Acceleration 之前,请查看 Amazon S3 定价。

要确定 Transfer Acceleration 能否提高您的实例的数据传输速度,请使用 Amazon S3 Transfer Acceleration 速度比较工具。

**注意:**在使用 S3 Transfer Acceleration 时,您无法跨区域使用 CopyObject API 调用。

升级 Amazon EC2 实例类型

Amazon EC2 实例 CPU 利用率高可能会影响数据传输速度。您可以将实例更改为可提供更高内存和网络性能的实例类型。

**注意:**为确保在 Amazon EC2 实例和 Amazon S3 之间建立可靠的网络连接,请选择网络连接至少为 10GiBps 的实例类型。

使用分块传输

如果您要传输大型文件,请使用分段上传和远程 HTTP 分段请求。

相关信息

最佳实践设计模式:优化 Amazon S3 性能

AWS 官方已更新 1 年前