使用超参数调整任务来进行训练和预处理。

0

【以下的问题经过翻译处理】 一些数据科学团队希望在进行机器学习模型训练时,同时调整预处理作业的超参数。AWS是否有推荐的方法以使用Sagemaker超参数调整来建立此过程?

profile picture
EXPERTE
gefragt vor 8 Monaten21 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 这取决于机器学习所需的数据集和机器学习所回答的问题。

预处理任务进行超参数优化是可行的。但是,要运行一个HPO任务,需要定义一个特定的目标。例如,在整个HPO过程中最大化/最小化某些值。因此,在预处理期间了解目标非常重要。如果答案是肯定的,用户是能够利用超参数调整作业。

以下是SageMaker中HPO的工作原理。首先,我们使用容器的输出来定义每个训练任务,并在*/opt/ml/input/config/hyperparameters.json中指定超参数。当我们使用SageMaker中的HyperparameterTuner运行流程时,初始任务可以将超参数传递给HPO流程,并返回具有最高得分*的模型。

选项1:如果有明确定义的预处理目标要达到,我们还可以通过在容器中定义功能和输出并使用HyperparameterTuner适应调整预处理。

选项2:在整个SageMaker培训任务中包括预处理+训练代码。但是,您无法使用单独的基础设施用于培训和预处理。

因此,取决于用户的目标是什么,这决定了用户使用SageMaker HPO的方式。

profile picture
EXPERTE
beantwortet vor 8 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen