如何在 SageMaker AI 上部署 HuggingFace 模型?

1 分钟阅读
0

我想在 Amazon SageMaker AI 上部署 HuggingFace 模型。

解决方案

**注意:**在开始之前,请确保您拥有 SageMaker 笔记本实例SageMaker AI Studio 域

要在 SageMaker AI 上部署 HuggingFace 模型,请使用 SageMaker AI Jumpstart 或适用于 Python 的 SageMaker AI SDK。

在 SageMaker Studio 中使用 SageMaker AI Jumpstart

完成以下步骤:

  1. 启动 SageMaker Studio
  2. 在导航窗格中,选择 JumpStart
  3. 选择 HuggingFace 作为提供商。
  4. 选择您的模型,然后选择 Deploy(部署)。
  5. 配置您的端点设置,然后选择 Deploy(部署)。

使用适用于 Python 的 SageMaker AI SDK 从 HuggingFace hub 部署模型

完成以下步骤:

  1. 打开您的机器学习环境

  2. 安装并升级 SageMaker AI:

    !pip install --upgrade sagemaker --quiet
  3. 启动 SageMaker AI 会话,然后设置运行时角色:

    import sagemaker
    sess = sagemaker.Session()
    role = sagemaker.get_execution_role()
  4. 定义您的模型参数:

    from sagemaker.huggingface.model import HuggingFaceModel
    hub = {
      'example-hf-model-id':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models
      'example-hf-task':'question-answering'
    }

    **注意:**请将 example-hf-model-id 替换为 Hugging Face 网站上 HuggingFace models list 中的模型 ID。将 example-hf-task 替换为要用于预测的任务。有关 HF_TASK 值的列表,请参阅 Hugging Face 网站上的 Pipelines

  5. 创建类,然后将该类部署到 SageMaker AI:

    huggingface_model = HuggingFaceModel(
       env=hub,
       role=role,
       transformers_version="4.26",
       pytorch_version="1.13",
       py_version='py39',
    )
    predictor = huggingface_model.deploy(
       initial_instance_count=1,
       instance_type="ml.m5.xlarge"
    )

相关信息

Amazon SageMaker Python SDK 网站上的 Hugging Face

Resources for using Hugging Face with Amazon SageMaker AI

Hugging Face 网站上的 Deploy a model from the hub

GitHub 网站上的 Deploy transformers for inference

AWS 官方
AWS 官方已更新 1 个月前