使用超参数调整任务来进行训练和预处理。

0

【以下的问题经过翻译处理】 一些数据科学团队希望在进行机器学习模型训练时,同时调整预处理作业的超参数。AWS是否有推荐的方法以使用Sagemaker超参数调整来建立此过程?

profile picture
EXPERTO
preguntada hace 8 meses21 visualizaciones
1 Respuesta
0

【以下的回答经过翻译处理】 这取决于机器学习所需的数据集和机器学习所回答的问题。

预处理任务进行超参数优化是可行的。但是,要运行一个HPO任务,需要定义一个特定的目标。例如,在整个HPO过程中最大化/最小化某些值。因此,在预处理期间了解目标非常重要。如果答案是肯定的,用户是能够利用超参数调整作业。

以下是SageMaker中HPO的工作原理。首先,我们使用容器的输出来定义每个训练任务,并在*/opt/ml/input/config/hyperparameters.json中指定超参数。当我们使用SageMaker中的HyperparameterTuner运行流程时,初始任务可以将超参数传递给HPO流程,并返回具有最高得分*的模型。

选项1:如果有明确定义的预处理目标要达到,我们还可以通过在容器中定义功能和输出并使用HyperparameterTuner适应调整预处理。

选项2:在整个SageMaker培训任务中包括预处理+训练代码。但是,您无法使用单独的基础设施用于培训和预处理。

因此,取决于用户的目标是什么,这决定了用户使用SageMaker HPO的方式。

profile picture
EXPERTO
respondido hace 8 meses

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas