我的AWS Batch作业服务将大量数据存储到S3,但我的代码似乎无法与S3配合工作?

0

【以下的问题经过翻译处理】 我在AWS Batch上运行了5个使用Fargate的批处理作业,当它们运行时,我注意到通过NAT Gateway传输到S3的容量急剧增加。我使用Athena查询了VPC日志,并发现目标IP是S3的IP地址,而我的代码中没有使用S3。当我关闭这些作业时,传输到S3的容量完全减少了。我不明白为什么我的批处理作业服务会使用S3,而我的代码却不会。有没有办法调查以确定容量的确切来源?(除了https://aws.amazon.com/premiumsupport/knowledge-center/vpc-find-traffic-sources-nat-gateway/?nc1=h_ls,我已经阅读过了)。我了解可以使用S3 VPC端点来处理通过NAT网关的吞吐量,但我想找到根本原因。

profile picture
专家
已提问 5 个月前57 查看次数
1 回答
0

【以下的回答经过翻译处理】 您的容器映像(我假设存储在ECR中)存储在S3中,这很可能是S3流量激增的原因。可以设置一个S3网关端点来优化下载 - 请参阅此[链接](https://docs.aws.amazon.com/AmazonECR/latest/userguide/vpc-endpoints.html#ecr-setting-up-s3-gateway)

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则