Distributed DL Training on Spot Instances with SageMaker

Hi,

The documentation on SageMaker suggests that one can do distributed deep learning training (multi-node) [1]. It is also possible to use Spot instances with Sagemaker [2]. Is it possible to combine these features and do multi-node distributed training on Spot instances? If yes, what is the failure semantics whenever peers drop out before submitting their gradients? I could not find any documentation on that matter.

[1] https://docs.aws.amazon.com/sagemaker/latest/dg/distributed-training.html [2] https://docs.aws.amazon.com/sagemaker/latest/dg/model-managed-spot-training.html

Durga_S
vor 10 Monaten
You can run distributed training with spot, just specify use_spot=True. However, add periodic checkpoints (about every hour or so) if you're using spot instances - https://docs.aws.amazon.com/sagemaker/latest/dg/model-checkpoints.html

Themen

Maschinelles Lernen & KI Kalkulation

Relevanter Inhalt

Warum scheitert die Ausführung meiner Amazon-SageMaker-Pipeline?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie behebe ich Probleme, wenn ich meinen benutzerdefinierten Container für Schulungen oder Schlussfolgerungen zu Amazon SageMaker bringe?
AWS OFFICIALAktualisiert vor 2 Jahren
Was sind die Mindestberechtigungen, die ich für Amazon SageMaker benötige?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie verwende ich den lokalen Modus des Amazon SageMaker Python SDK mit SageMaker Studio?
AWS OFFICIALAktualisiert vor einem Jahr