¿Cómo despliego un modelo de HuggingFace en SageMaker AI?

Solución

Nota: Antes de empezar, asegúrese de tener una instancia de cuaderno de SageMaker o un dominio de SageMaker AI Studio. 

Para desplegar un modelo de HuggingFace en SageMaker AI, utilice SageMaker AI Jumpstart o el SDK de SageMaker AI para Python.

Uso de SageMaker AI Jumpstart en SageMaker Studio

Siga estos pasos:

1. Inicie SageMaker Studio.
2. En el panel de navegación, seleccione JumpStart.
3. Elija HuggingFace como proveedor.
4. Seleccione su modelo y, a continuación, elija Desplegar.
5. Configure los ajustes del punto de enlace y, a continuación, seleccione Desplegar.

Uso del SDK de SageMaker IA para Python a fin de desplegar un modelo desde el centro de HuggingFace

Siga estos pasos:

1. Abra el entorno de machine learning.

2. Instale y actualice SageMaker AI:

   !pip install --upgrade sagemaker --quiet

3. Inicie la sesión de SageMaker AI y, a continuación, defina el rol de versión ejecutable:

   import sagemaker
   sess = sagemaker.Session()
   role = sagemaker.get_execution_role()

4. Defina los parámetros del modelo:

   from sagemaker.huggingface.model import HuggingFaceModel
   hub = {
     'example-hf-model-id':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models
     'example-hf-task':'question-answering'
   }

   Nota: Sustituya example-hf-model-id por su ID de modelo de la lista de modelos de HuggingFace en el sitio web de Hugging Face. Sustituya example-hf-task por la tarea que desea usar para las predicciones. Para obtener una lista de los valores de HF_TASK, consulte Canalizaciones en el sitio web de Hugging Face.

5. Cree la clase y, a continuación, despliéguela en SageMaker AI:

   huggingface_model = HuggingFaceModel(
      env=hub,
      role=role,
      transformers_version="4.26",
      pytorch_version="1.13",
      py_version='py39',
   )
   predictor = huggingface_model.deploy(
      initial_instance_count=1,
      instance_type="ml.m5.xlarge"
   )

Información relacionada

Hugging Face en el sitio web de Amazon SageMaker Python SDK

Recursos para usar Hugging Face con Amazon SageMaker AI

Despliegue de un modelo desde el centro en el sitio web de Hugging Face

Despliegue de transformadores para inferencias en el sitio web de GitHub