从故障位置继续 S3 文件上传

0

【以下的问题经过翻译处理】 嘿,

我运行了以下命令将一个巨大的文件复制到S3:

aws s3 cp C:\path\to\file s3://my-bucket/ --storage-class DEEP_ARCHIVE --profile s3bucket --output text --debug --cli-connect-timeout 0

它运行了一段时间,但最终崩溃了,显示以下错误:

2022-09-06 14:00:01,477 - ThreadPoolExecutor-0_0 - s3transfer.utils - DEBUG - Releasing acquire 0/None
upload failed: C:\path\to\file to s3://my-bucket/file Could not connect to the endpoint URL: "https://my-bucket.s3.us-west-2.amazonaws.com/file?uploadId=SoMeBiGiDeTc&partNumber=1670"
2022-09-06 14:00:01,481 - Thread-1 - awscli.customizations.s3.results - DEBUG - Shutdown request received in result processing thread, shutting down result thread.

有没有办法在中断的位置恢复,而不是从头开始?

如果我运行:

aws s3api list-multipart-uploads --bucket my-bucket --profile s3bucket --output json

我可以看到刚刚中断的分段,但我不知道如何从那里继续操作。

谢谢!

1 Antwort
0

【以下的回答经过翻译处理】 这取决于导致你的进程崩溃的异常是什么。以下是有关设置重试的文章。我已经设置了传统的方法,我并不经常崩溃,但我的网络偶尔会断开。如果这很有帮助,请告诉我。这是文章,我相信它也适用于AWS命令行界面。 https://boto3.amazonaws.com/v1/documentation/api/latest/guide/retries.html

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen