如何使用SageMaker创建多模型终端节点？

Question

【以下的问题经过翻译处理】 这是我的代码。

```
from datetime import datetime
from sagemaker.multidatamodel import MultiDataModel
mme = MultiDataModel(
    name="LV-multi-" + datetime.now().strftime("%Y-%m-%d-%H-%M-%S"),
    model_data_prefix=model_dir, # 2에서 구한 모델이 모여있는 폴더(경로)!!,
    model=sagemaker_model,  # 모델 객체 1개 우선 넣기
    sagemaker_session=sess
)

predictor = mme.deploy(
    initial_instance_count=1,
    instance_type="ml.g4dn.xlarge"
)
```

出现了错误信息。
我该如何找到包含multi-models=true的Ecr镜像？

```
ClientError: An error occurred (ValidationException) when calling the CreateModel operation: Your Ecr Image 763104351884.dkr.ecr.ap-northeast-2.amazonaws.com/pytorch-inference:1.8.1-gpu-py3 does not contain required com.amazonaws.sagemaker.capabilities.multi-models=true Docker label(s).

```

Answer

【以下的回答经过翻译处理】 目前，所有 CPU 实例类型和单 GPU 实例类型都支持多模型终端节点。，请参见此处：

为了托管多模型端点，请选择支持的实例类型。ECR映像将包含所需的'com.amazonaws.sagemaker.capabilities.multi-models=true'标签，请参见此处：

如何使用SageMaker创建多模型终端节点？

相关内容