使用超参数调整任务来进行训练和预处理。

0

【以下的问题经过翻译处理】 一些数据科学团队希望在进行机器学习模型训练时,同时调整预处理作业的超参数。AWS是否有推荐的方法以使用Sagemaker超参数调整来建立此过程?

profile picture
专家
已提问 9 个月前28 查看次数
1 回答
0

【以下的回答经过翻译处理】 这取决于机器学习所需的数据集和机器学习所回答的问题。

预处理任务进行超参数优化是可行的。但是,要运行一个HPO任务,需要定义一个特定的目标。例如,在整个HPO过程中最大化/最小化某些值。因此,在预处理期间了解目标非常重要。如果答案是肯定的,用户是能够利用超参数调整作业。

以下是SageMaker中HPO的工作原理。首先,我们使用容器的输出来定义每个训练任务,并在*/opt/ml/input/config/hyperparameters.json中指定超参数。当我们使用SageMaker中的HyperparameterTuner运行流程时,初始任务可以将超参数传递给HPO流程,并返回具有最高得分*的模型。

选项1:如果有明确定义的预处理目标要达到,我们还可以通过在容器中定义功能和输出并使用HyperparameterTuner适应调整预处理。

选项2:在整个SageMaker培训任务中包括预处理+训练代码。但是,您无法使用单独的基础设施用于培训和预处理。

因此,取决于用户的目标是什么,这决定了用户使用SageMaker HPO的方式。

profile picture
专家
已回答 9 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则