如何在 SageMaker AI 上部署 HuggingFace 模型？

解决方案

**注意：**在开始之前，请确保您拥有 SageMaker 笔记本实例或 SageMaker AI Studio 域。

要在 SageMaker AI 上部署 HuggingFace 模型，请使用 SageMaker AI Jumpstart 或适用于 Python 的 SageMaker AI SDK。

在 SageMaker Studio 中使用 SageMaker AI Jumpstart

完成以下步骤：

1. 启动 SageMaker Studio。
2. 在导航窗格中，选择 JumpStart。
3. 选择 HuggingFace 作为提供商。
4. 选择您的模型，然后选择 Deploy（部署）。
5. 配置您的端点设置，然后选择 Deploy（部署）。

使用适用于 Python 的 SageMaker AI SDK 从 HuggingFace hub 部署模型

完成以下步骤：

1. 打开您的机器学习环境。

2. 安装并升级 SageMaker AI：

   !pip install --upgrade sagemaker --quiet

3. 启动 SageMaker AI 会话，然后设置运行时角色：

   import sagemaker
   sess = sagemaker.Session()
   role = sagemaker.get_execution_role()

4. 定义您的模型参数：

   from sagemaker.huggingface.model import HuggingFaceModel
   hub = {
     'example-hf-model-id':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models
     'example-hf-task':'question-answering'
   }

   **注意：**请将 example-hf-model-id 替换为 Hugging Face 网站上 HuggingFace models list 中的模型 ID。将 example-hf-task 替换为要用于预测的任务。有关 HF_TASK 值的列表，请参阅 Hugging Face 网站上的 Pipelines。

5. 创建类，然后将该类部署到 SageMaker AI：

   huggingface_model = HuggingFaceModel(
      env=hub,
      role=role,
      transformers_version="4.26",
      pytorch_version="1.13",
      py_version='py39',
   )
   predictor = huggingface_model.deploy(
      initial_instance_count=1,
      instance_type="ml.m5.xlarge"
   )

相关信息

Amazon SageMaker Python SDK 网站上的 Hugging Face

Resources for using Hugging Face with Amazon SageMaker AI

Hugging Face 网站上的 Deploy a model from the hub

GitHub 网站上的 Deploy transformers for inference