Ich möchte ein HuggingFace-Modell auf Amazon SageMaker AI bereitstellen.
Behebung
Hinweis: Bevor du beginnst, stelle sicher, dass du entweder eine SageMaker-Notebook-Instance oder eine SageMaker AI Studio-Domain hast.
Um ein HuggingFace-Modell auf SageMaker AI bereitzustellen, verwende entweder SageMaker AI Jumpstart oder das SageMaker AI SDK für Python.
Verwendung von SageMaker AI Jumpstart in SageMaker Studio
Führe die folgenden Schritte aus:
- Starte SageMaker Studio.
- Wähle im Navigationsbereich JumpStart aus.
- Wähle HuggingFace als Anbieter.
- Wähle das Modell und dann Bereitstellen aus.
- Konfiguriere die Endpunkteinstellungen und wähle dann Bereitstellen.
Verwendung des SageMaker AI SDK für Python, um ein Modell vom HuggingFace-Hub aus bereitzustellen
Führe die folgenden Schritte aus:
-
Öffne die Machine Learning-Umgebung.
-
Installiere und aktualisiere SageMaker AI:
!pip install --upgrade sagemaker --quiet
-
Starte die SageMaker AI-Sitzung und lege dann die Laufzeitrolle fest:
import sagemaker
sess = sagemaker.Session()
role = sagemaker.get_execution_role()
-
Definiere die Modellparameter:
from sagemaker.huggingface.model import HuggingFaceModel
hub = {
'example-hf-model-id':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models
'example-hf-task':'question-answering'
}
Hinweis: Ersetze example-hf-model-id durch deine Modell-ID aus der HuggingFace-Modelliste auf der Hugging Face-Website. Ersetze example-hf-task durch die Aufgabe, die du für Vorhersagen verwenden möchtest. Eine Liste der HF_TASK-Werte findest du unter Pipelines auf der Hugging Face-Website.
-
Erstelle die Klasse und stelle die Klasse dann für SageMaker AI bereit:
huggingface_model = HuggingFaceModel(
env=hub,
role=role,
transformers_version="4.26",
pytorch_version="1.13",
py_version='py39',
)
predictor = huggingface_model.deploy(
initial_instance_count=1,
instance_type="ml.m5.xlarge"
)
Ähnliche Informationen
Hugging Face auf der Amazon SageMaker Python SDK-Website
Ressourcen für die Verwendung von Hugging Face mit Amazon SageMaker AI
Deploy a model from the hub (Bereitstellung eines Modells vom Hub) auf der Hugging Face-Website
Deploy transformers for inference (Bereitstellung von Transformern für Inferenz) auf der GitHub-Website