如何在 SageMaker AI 上部署 HuggingFace 模型？

解決方法

注意： 在開始之前，請確保您擁有 SageMaker 筆記型電腦執行個體或 SageMaker AI Studio 網域。 

若要在 SageMaker AI 上部署 HuggingFace 模型，請使用 SageMaker AI Jumpstart 或適用於 Python 的 SageMaker AI SDK。

在 SageMaker Studio 中使用 SageMaker AI Jumpstart

請完成下列步驟：

1. 啟動 SageMaker Studio。
2. 在導覽窗格中，選擇 JumpStart。
3. 選擇 HuggingFace 作為提供者。
4. 選取您的模型，然後選擇 Deploy (部署)。
5. 設定您的端點設定，然後選擇 Deploy (部署)。

使用適用於 Python 的 SageMaker AI SDK 從 HuggingFace 中心部署模型

請完成下列步驟：

1. 開啟您的機器學習環境。

2. 安裝並升級 SageMaker AI：

   !pip install --upgrade sagemaker --quiet

3. 啟動 SageMaker AI 工作階段，然後設定執行時期角色：

   import sagemaker
   sess = sagemaker.Session()
   role = sagemaker.get_execution_role()

4. 定義您的模型參數：

   from sagemaker.huggingface.model import HuggingFaceModel
   hub = {
     'example-hf-model-id':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models
     'example-hf-task':'question-answering'
   }

   注意： 將 example-hf-model-id 替換為 Hugging Face 網站上 HuggingFace 模型清單中的模型 ID。將 example-hf-task 替換為您想要用於預測的任務。有關 HF_TASK 值的清單，請參閱 Hugging Face 網站上的管線。

5. 建立類別，然後將該類部署到 SageMaker AI：

   huggingface_model = HuggingFaceModel(
      env=hub,
      role=role,
      transformers_version="4.26",
      pytorch_version="1.13",
      py_version='py39',
   )
   predictor = huggingface_model.deploy(
      initial_instance_count=1,
      instance_type="ml.m5.xlarge"
   )

相關資訊

Amazon SageMaker Python SDK 網站上的 Hugging Face

將 Hugging Face 與 Amazon SageMaker AI 結合使用的資源

從 Hugging Face 網站上的中心部署模型

在 GitHub 網站上部署變壓器進行推論