使用超参数调整任务来进行训练和预处理。

0

【以下的问题经过翻译处理】 一些数据科学团队希望在进行机器学习模型训练时,同时调整预处理作业的超参数。AWS是否有推荐的方法以使用Sagemaker超参数调整来建立此过程?

profile picture
專家
已提問 8 個月前檢視次數 21 次
1 個回答
0

【以下的回答经过翻译处理】 这取决于机器学习所需的数据集和机器学习所回答的问题。

预处理任务进行超参数优化是可行的。但是,要运行一个HPO任务,需要定义一个特定的目标。例如,在整个HPO过程中最大化/最小化某些值。因此,在预处理期间了解目标非常重要。如果答案是肯定的,用户是能够利用超参数调整作业。

以下是SageMaker中HPO的工作原理。首先,我们使用容器的输出来定义每个训练任务,并在*/opt/ml/input/config/hyperparameters.json中指定超参数。当我们使用SageMaker中的HyperparameterTuner运行流程时,初始任务可以将超参数传递给HPO流程,并返回具有最高得分*的模型。

选项1:如果有明确定义的预处理目标要达到,我们还可以通过在容器中定义功能和输出并使用HyperparameterTuner适应调整预处理。

选项2:在整个SageMaker培训任务中包括预处理+训练代码。但是,您无法使用单独的基础设施用于培训和预处理。

因此,取决于用户的目标是什么,这决定了用户使用SageMaker HPO的方式。

profile picture
專家
已回答 8 個月前

您尚未登入。 登入 去張貼答案。

一個好的回答可以清楚地回答問題並提供建設性的意見回饋,同時有助於提問者的專業成長。

回答問題指南

相關內容