Comment résoudre les erreurs que je reçois lorsque j'exécute des tâches d'entraînement SageMaker AI ?

Résolution

Pour identifier l'erreur de votre tâche d'entraînement SageMaker AI, vérifiez la raison de l'échec sur la console SageMaker AI ou dans l'appel d'API DescribeTrainingJob. Puis, complétez la résolution de votre erreur de tâche.

Erreur de serveur interne

Pour vous assurer qu'un problème transitoire n'est pas à l'origine de l'erreur, réessayez la tâche.

Si la tâche échoue lorsque vous la réessayez, examinez les journaux de tâches d'entraînement sur Amazon CloudWatch. Examinez les métriques de tâches, tels que CPUUtilization, MemoryUtilization et DiskUtilization, pour vérifier si l'échec est dû à une limitation des ressources. Vous pouvez également examiner les journaux de tâches d'entraînement et les métriques de tâche sur la console SageMaker AI.

Si CPUUtilization ou MemoryUtilization est élevé, utilisez une taille d'instance de tâche d'entraînement supérieure. Si le paramètre DiskUtilization est élevé, augmentez le paramètre VolumeSizeInGB lorsque vous créez la tâche d'entraînement.

Erreur de capacité d'instance

Si la tâche d'entraînement échoue en raison d'une erreur de capacité d'instance, cela signifie que la capacité à la demande est insuffisante pour terminer la tâche. Pour plus d'informations, consultez la section Comment résoudre une erreur de capacité insuffisante lors du lancement de mes ressources Amazon SageMaker AI ?

Pour résoudre l'erreur, effectuez l'une des opérations suivantes :

• Retardez votre requête et relancez-la ultérieurement. Les problèmes de capacité sont transitoires et peuvent être résolus lorsque vous relancez votre requête.
• Passez à un autre type ou à une autre taille d'instance avec une capacité supérieure.
• Lancez la tâche d'entraînement dans une autre région AWS.

Erreur MaxRuntimeExceeded

La durée maximale par défaut d'une tâche d'entraînement est de 1 jour. Vous pouvez régler l'exécution à un maximum de 28 jours. Pour augmenter la valeur d'exécution maximale, transmettez le paramètre MaxRuntimeInSeconds dans l'API CreateTrainingJob ou le paramètre max_run dans votre estimateur de SDK Python SageMaker AI. Pour plus d'informations, consultez la page Estimateurs sur le site Web de SDK Amazon SageMaker Python.

Informations connexes

Journaux pour les algorithmes intégrés