SageMaker AI에 HuggingFace 모델을 배포하려면 어떻게 해야 합니까?

2분 분량
0

Amazon SageMaker AI에 HuggingFace 모델을 배포하려고 합니다.

해결 방법

참고: 시작하기 전에 SageMaker 노트북 인스턴스 또는 SageMaker AI Studio 도메인이 있는지 확인하십시오.

HuggingFace 모델을 SageMaker AI에 배포하려면 SageMaker AI Jumpstart 또는 the SageMaker AI SDK for Python을 사용합니다.

SageMaker Studio에서 SageMaker AI Jumpstart 사용

다음 단계를 완료합니다.

  1. SageMaker Studio를 시작합니다.
  2. 탐색 창에서 JumpStart를 선택합니다.
  3. HuggingFace를 공급자로 선택합니다.
  4. 모델을 선택한 다음 배포를 선택합니다.
  5. 엔드포인트 설정을 구성한 다음 배포를 선택합니다.

SageMaker AI SDK for Python을 사용하여 HuggingFace 허브에서 모델 배포

다음 단계를 완료합니다.

  1. 기계 학습 환경을 엽니다.

  2. SageMaker AI 설치 및 업그레이드:

    !pip install --upgrade sagemaker --quiet
  3. SageMaker AI 세션을 시작하고, 런타임 역할 설정:

    import sagemaker
    sess = sagemaker.Session()
    role = sagemaker.get_execution_role()
  4. 모델 파라미터 정의:

    from sagemaker.huggingface.model import HuggingFaceModel
    hub = {
      'example-hf-model-id':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models
      'example-hf-task':'question-answering'
    }

    참고: example-hf-model-id를 HuggingFace 웹사이트의 HuggingFace 모델 목록에 있는 모델 ID로 바꾸십시오. example-hf-task를 예측에 사용하려는 작업으로 바꾸십시오. HF_TASK 값 목록은 HuggingFace 웹사이트의 파이프라인을 참조하십시오.

  5. 클래스를 생성하고, 클래스를 SageMaker AI에 배포합니다.

    huggingface_model = HuggingFaceModel(
       env=hub,
       role=role,
       transformers_version="4.26",
       pytorch_version="1.13",
       py_version='py39',
    )
    predictor = huggingface_model.deploy(
       initial_instance_count=1,
       instance_type="ml.m5.xlarge"
    )

관련 정보

Amazon SageMaker Python SDK 웹사이트의 HuggingFace

Amazon SageMaker AI에서 HuggingFace 사용 리소스

HuggingFace 웹사이트에서 허브의 모델 배포

GitHub 웹사이트의 추론을 위한 트랜스포머 배포

AWS 공식
AWS 공식업데이트됨 한 달 전