使用超参数调整任务来进行训练和预处理。
0
【以下的问题经过翻译处理】 一些数据科学团队希望在进行机器学习模型训练时，同时调整预处理作业的超参数。AWS是否有推荐的方法以使用Sagemaker超参数调整来建立此过程？
1 回答
- 最新
- 投票最多
- 评论最多
0
【以下的回答经过翻译处理】 这取决于机器学习所需的数据集和机器学习所回答的问题。
预处理任务进行超参数优化是可行的。但是，要运行一个HPO任务，需要定义一个特定的目标。例如，在整个HPO过程中最大化/最小化某些值。因此，在预处理期间了解目标非常重要。如果答案是肯定的，用户是能够利用超参数调整作业。
以下是SageMaker中HPO的工作原理。首先，我们使用容器的输出来定义每个训练任务，并在*/opt/ml/input/config/hyperparameters.json中指定超参数。当我们使用SageMaker中的HyperparameterTuner运行流程时，初始任务可以将超参数传递给HPO流程，并返回具有最高得分*的模型。
选项1：如果有明确定义的预处理目标要达到，我们还可以通过在容器中定义功能和输出并使用HyperparameterTuner适应调整预处理。
选项2：在整个SageMaker培训任务中包括预处理+训练代码。但是，您无法使用单独的基础设施用于培训和预处理。
因此，取决于用户的目标是什么，这决定了用户使用SageMaker HPO的方式。