Como faço para implantar um modelo HuggingFace no SageMaker AI?

2 minuto de leitura
0

Quero implantar um modelo HuggingFace no Amazon SageMaker AI.

Resolução

Observação: antes de começar, certifique-se de ter uma instância do notebook SageMaker ou um domínio do SageMaker AI Studio.

Para implantar um modelo HuggingFace no SageMaker AI, use o SageMaker AI Jumpstart ou o SageMaker AI SDK for Python.

Use o SageMaker AI Jumpstart no SageMaker Studio

Execute as seguintes etapas:

  1. Inicialize o SageMaker Studio.
  2. No painel de navegação, escolha JumpStart.
  3. Escolha HuggingFace como provedor.
  4. Selecione seu modelo e, em seguida, escolha Implantar.
  5. Defina as configurações do endpoint e, em seguida, escolha Implantar.

Use o SageMaker AI SDK for Python para implantar um modelo a partir do hub HuggingFace

Execute as seguintes etapas:

  1. Abra seu ambiente de machine learning.

  2. Instale e atualize o SageMaker AI:

    !pip install --upgrade sagemaker --quiet
  3. Inicie a sessão do SageMaker AI e, em seguida, defina o runtime de função:

    import sagemaker
    sess = sagemaker.Session()
    role = sagemaker.get_execution_role()
  4. Defina os parâmetros do seu modelo:

    from sagemaker.huggingface.model import HuggingFaceModel
    hub = {
      'example-hf-model-id':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models
      'example-hf-task':'question-answering'
    }

    Observação: substitua example-hf-model-id pelo modelo ID da lista de modelos do HuggingFace no site do Hugging Face. Substitua example-hf-task pela tarefa que você deseja usar para previsões. Para obter uma lista dos valores de HF_TASK, consulte Pipelines no site Hugging Face.

  5. Crie a classe e, em seguida, implante a classe no SageMaker AI:

    huggingface_model = HuggingFaceModel(
       env=hub,
       role=role,
       transformers_version="4.26",
       pytorch_version="1.13",
       py_version='py39',
    )
    predictor = huggingface_model.deploy(
       initial_instance_count=1,
       instance_type="ml.m5.xlarge"
    )

Informações relacionadas

Hugging Face no site do Amazon SageMaker Python SDK

Recursos para usar o Hugging Face com Amazon SageMaker AI

Implante um modelo a partir do hub no site Hugging Face

Implante transformadores para inferência no site do GitHub

AWS OFICIAL
AWS OFICIALAtualizada há um mês