如何验证 SageMaker Spot 训练中的检查点是否有效?

0

【以下的问题经过翻译处理】 您好,

在启动 SageMaker Spot Training 作业之前,我们如何知道 checkpoint 是否有效?有没有办法可以强制定期将 checkpoint 保存到 s3,而不是等待 SIGTERM 信号?

谢谢

profile picture
EXPERT
asked 8 months ago36 views
1 Answer
0

【以下的回答经过翻译处理】 Olivier 您好,

如果启用 SageMaker 检查点,它会定期将训练产物的副本保存到 S3 中。我在 pytorch 中使用过这个功能,它通过定期检查点来工作,Managed Spot Training: Save Up to 90% On Your Amazon SageMaker Training Jobs 博客也提到了同样的方法。

为了避免在训练作业中断时需要从头开始,我们强烈建议您启用检查点,定期保存正在训练中的模型。

profile picture
EXPERT
answered 8 months ago

You are not logged in. Log in to post an answer.

A good answer clearly answers the question and provides constructive feedback and encourages professional growth in the question asker.

Guidelines for Answering Questions