Wie stelle ich ein HuggingFace-Modell auf SageMaker AI bereit?

Lesedauer: 2 Minute
0

Ich möchte ein HuggingFace-Modell auf Amazon SageMaker AI bereitstellen.

Behebung

Hinweis: Bevor du beginnst, stelle sicher, dass du entweder eine SageMaker-Notebook-Instance oder eine SageMaker AI Studio-Domain hast. 

Um ein HuggingFace-Modell auf SageMaker AI bereitzustellen, verwende entweder SageMaker AI Jumpstart oder das SageMaker AI SDK für Python.

Verwendung von SageMaker AI Jumpstart in SageMaker Studio

Führe die folgenden Schritte aus:

  1. Starte SageMaker Studio.
  2. Wähle im Navigationsbereich JumpStart aus.
  3. Wähle HuggingFace als Anbieter.
  4. Wähle das Modell und dann Bereitstellen aus.
  5. Konfiguriere die Endpunkteinstellungen und wähle dann Bereitstellen.

Verwendung des SageMaker AI SDK für Python, um ein Modell vom HuggingFace-Hub aus bereitzustellen

Führe die folgenden Schritte aus:

  1. Öffne die Machine Learning-Umgebung.

  2. Installiere und aktualisiere SageMaker AI:

    !pip install --upgrade sagemaker --quiet
  3. Starte die SageMaker AI-Sitzung und lege dann die Laufzeitrolle fest:

    import sagemaker
    sess = sagemaker.Session()
    role = sagemaker.get_execution_role()
  4. Definiere die Modellparameter:

    from sagemaker.huggingface.model import HuggingFaceModel
    hub = {
      'example-hf-model-id':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models
      'example-hf-task':'question-answering'
    }

    Hinweis: Ersetze example-hf-model-id durch deine Modell-ID aus der HuggingFace-Modelliste auf der Hugging Face-Website. Ersetze example-hf-task durch die Aufgabe, die du für Vorhersagen verwenden möchtest. Eine Liste der HF_TASK-Werte findest du unter Pipelines auf der Hugging Face-Website.

  5. Erstelle die Klasse und stelle die Klasse dann für SageMaker AI bereit:

    huggingface_model = HuggingFaceModel(
       env=hub,
       role=role,
       transformers_version="4.26",
       pytorch_version="1.13",
       py_version='py39',
    )
    predictor = huggingface_model.deploy(
       initial_instance_count=1,
       instance_type="ml.m5.xlarge"
    )

Ähnliche Informationen

Hugging Face auf der Amazon SageMaker Python SDK-Website

Ressourcen für die Verwendung von Hugging Face mit Amazon SageMaker AI

Deploy a model from the hub (Bereitstellung eines Modells vom Hub) auf der Hugging Face-Website

Deploy transformers for inference (Bereitstellung von Transformern für Inferenz) auf der GitHub-Website

AWS OFFICIAL
AWS OFFICIALAktualisiert vor einem Monat