Skip to content

上传大文件到S3时如何优化性能?

0

【以下的问题经过翻译处理】 我们需要能够在不到一分钟的时间内上传大文件至Amazon S3,每个文件大小在500MB到1GB之间。这些文件来自于我们的应用且已经提前压缩,应用终端用户遍布全美国。

我们已经考虑了使用多个AWS区域,以便用户可以上传到离他们最近的区域,但是这并没有明显的提高性能。我们还测试了启用S3传输加速功能,但S3传输加速在部分区域甚至比通过互联网传输还要慢。

在将大文件上传至S3跨多个区域时,如何最大可能的优化性能?

EXPERT
asked 2 years ago203 views
1 Answer
0

【以下的回答经过翻译处理】 为了在不到1分钟的时间内上传一个1GB的文件到S3,你的应用终端用户需要达到17MB/秒的平均上传速率。假设这个前提条件能满足,你需要的是一种能够达到17MB/秒上传速率的传输方法。

在上传大文件到S3时,最佳实践是采用分段上传。使用分段上传允许你将较大的文件分为较小的部分,以便获得更快的上传速度。更多信息可以参考当我上传大文件到Amazon S3时,如何优化性能?

**注意:**分段上传要求单个文件的分段数量不超过10,000个。需要确保你设置的分段在每个段的容量和所有段的数量上取得平衡。例如:如果文件大小为1GB,而平均每个TCP连接的上传速率为500KB/秒,那么你需要配置至少34个分段,并且每个分段大小应等于或小于30MB。

EXPERT
answered 2 years ago

You are not logged in. Log in to post an answer.

A good answer clearly answers the question and provides constructive feedback and encourages professional growth in the question asker.