¿Cómo soluciono los errores que recibo al ejecutar trabajos de entrenamiento de SageMaker AI?

Resolución

Para identificar el error del trabajo de entrenamiento de SageMaker AI, comprueba el motivo del error en la consola de SageMaker AI o en la llamada a la API DescribeTrainingJob. A continuación, completa la resolución del error de tu trabajo.

Error de servidor interno

Para asegurarte de que el error no se debe a un problema transitorio, vuelve a intentar el trabajo.

Si el trabajo falla al volver a intentarlo, consulta los registros de los trabajos de entrenamiento en Amazon CloudWatch. Revisa las métricas del trabajo, como CPUUtilization, MemoryUtilization y DiskUtilization, para comprobar si el error se produjo debido a una limitación de recursos. También puedes ver los registros de los trabajos de entrenamiento y las métricas de los trabajos en la consola de SageMaker AI.

Si CPUUtilization o MemoryUtilization son altas, utiliza una instancia de trabajo de entrenamiento de mayor tamaño. Si DiskUtilization es alta, aumenta el parámetro VolumeSizeInGB al crear el trabajo de entrenamiento.

Error de capacidad de la instancia

Si el trabajo de entrenamiento falla debido a un error de capacidad de la instancia, significa que no hay suficiente capacidad bajo demanda para completar el trabajo. Para obtener más información, consulta ¿Cómo soluciono un error de capacidad insuficiente al iniciar mis recursos de Amazon SageMaker AI?

Para resolver este error, realiza una de las siguientes acciones:

• Retrasa la solicitud e inténtala más tarde. Los problemas de capacidad son transitorios y pueden resolverse cuando vuelvas a intentar la solicitud.
• Cambia a un tipo o tamaño de instancia diferente con más capacidad.
• Inicia el trabajo de entrenamiento en otra región de AWS.

Error MaxRuntimeExceeded

El tiempo de ejecución máximo predeterminado para un trabajo de entrenamiento es de 1 día. Puedes ajustar el tiempo de ejecución a un máximo de 28 días. Para aumentar el valor máximo de tiempo de ejecución, pasa el parámetro MaxRuntimeInSeconds a la API CreateTrainingJob o el parámetro max_run al estimador de SageMaker AI Python SDK. Para obtener más información, consulta Estimadores en el sitio web de Amazon SageMaker Python SDK.

Información relacionada

Registros de algoritmos integrados