New user sign up using AWS Builder ID
New user sign up using AWS Builder ID is currently unavailable on re:Post. To sign up, please use the AWS Management Console instead.
我想在 Amazon SageMaker AI 上部署 HuggingFace 模型。
**注意:**在开始之前,请确保您拥有 SageMaker 笔记本实例或 SageMaker AI Studio 域。
要在 SageMaker AI 上部署 HuggingFace 模型,请使用 SageMaker AI Jumpstart 或适用于 Python 的 SageMaker AI SDK。
完成以下步骤:
打开您的机器学习环境。
安装并升级 SageMaker AI:
!pip install --upgrade sagemaker --quiet
启动 SageMaker AI 会话,然后设置运行时角色:
import sagemaker sess = sagemaker.Session() role = sagemaker.get_execution_role()
定义您的模型参数:
from sagemaker.huggingface.model import HuggingFaceModel hub = { 'example-hf-model-id':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models 'example-hf-task':'question-answering' }
**注意:**请将 example-hf-model-id 替换为 Hugging Face 网站上 HuggingFace models list 中的模型 ID。将 example-hf-task 替换为要用于预测的任务。有关 HF_TASK 值的列表,请参阅 Hugging Face 网站上的 Pipelines。
创建类,然后将该类部署到 SageMaker AI:
huggingface_model = HuggingFaceModel( env=hub, role=role, transformers_version="4.26", pytorch_version="1.13", py_version='py39', ) predictor = huggingface_model.deploy( initial_instance_count=1, instance_type="ml.m5.xlarge" )
Amazon SageMaker Python SDK 网站上的 Hugging Face
Resources for using Hugging Face with Amazon SageMaker AI
Hugging Face 网站上的 Deploy a model from the hub
GitHub 网站上的 Deploy transformers for inference