AsyncInferenceConfig takes different parameters

0

I would like to deploy an async endpoint in SageMaker. However when trying to deploy it I get the following error: ParamValidationError: Parameter validation failed: Unknown parameter in input: "AsyncInferenceConfig"

This is the code I tried for deploying the endpoint

from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig

async_config = AsyncInferenceConfig(
    output_path="s3://poembucketus/async_inference/output",
    max_concurrent_invocations_per_instance=4,
)

async_predictor = huggingface_estimator.deploy(
    initial_instance_count=1,
    instance_type="ml.m5.xlarge",
    async_inference_config=async_config,
)

Thanks!

質問済み 1年前232ビュー
1回答
0

From the format of parameter, this error should be thrown from Boto3. If AsyncInferenceConfig is not recognized as a valid parameter, this may mean the version of boto3 is too old and released before the async feature.

Could you please confirm the version of boto3 and try updating it to the latest if possible ?

AWS
回答済み 1年前
profile pictureAWS
エキスパート
Tasio
レビュー済み 1年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ