Quero implantar um modelo HuggingFace no Amazon SageMaker AI.
Resolução
Observação: antes de começar, certifique-se de ter uma instância do notebook SageMaker ou um domínio do SageMaker AI Studio.
Para implantar um modelo HuggingFace no SageMaker AI, use o SageMaker AI Jumpstart ou o SageMaker AI SDK for Python.
Use o SageMaker AI Jumpstart no SageMaker Studio
Execute as seguintes etapas:
- Inicialize o SageMaker Studio.
- No painel de navegação, escolha JumpStart.
- Escolha HuggingFace como provedor.
- Selecione seu modelo e, em seguida, escolha Implantar.
- Defina as configurações do endpoint e, em seguida, escolha Implantar.
Use o SageMaker AI SDK for Python para implantar um modelo a partir do hub HuggingFace
Execute as seguintes etapas:
-
Abra seu ambiente de machine learning.
-
Instale e atualize o SageMaker AI:
!pip install --upgrade sagemaker --quiet
-
Inicie a sessão do SageMaker AI e, em seguida, defina o runtime de função:
import sagemaker
sess = sagemaker.Session()
role = sagemaker.get_execution_role()
-
Defina os parâmetros do seu modelo:
from sagemaker.huggingface.model import HuggingFaceModel
hub = {
'example-hf-model-id':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models
'example-hf-task':'question-answering'
}
Observação: substitua example-hf-model-id pelo modelo ID da lista de modelos do HuggingFace no site do Hugging Face. Substitua example-hf-task pela tarefa que você deseja usar para previsões. Para obter uma lista dos valores de HF_TASK, consulte Pipelines no site Hugging Face.
-
Crie a classe e, em seguida, implante a classe no SageMaker AI:
huggingface_model = HuggingFaceModel(
env=hub,
role=role,
transformers_version="4.26",
pytorch_version="1.13",
py_version='py39',
)
predictor = huggingface_model.deploy(
initial_instance_count=1,
instance_type="ml.m5.xlarge"
)
Informações relacionadas
Hugging Face no site do Amazon SageMaker Python SDK
Recursos para usar o Hugging Face com Amazon SageMaker AI
Implante um modelo a partir do hub no site Hugging Face
Implante transformadores para inferência no site do GitHub