同时运行终端所有变体的需求。

0

【以下的问题经过翻译处理】 我有一个客户问我有关Rendezvous architecture的问题。我的想法是,我们可以使用多种方式来实现这一点,这些方法都使用了终端变体:

  • 在终端周围使用Lambda(也可能会用到SQS);
  • 一个自定义的监控工作;
  • 步骤函数

如果不考虑上述选项的细节、评估方式或SLA,看起来好像几个模型都非常适合作为终端的变体。问题是,该架构希望调用所有这些模型。是否有一种直接调用模型所有变体的方法,或者是否需要一个包装器来识别变体、调用它们并处理结果?

profile picture
전문가
질문됨 8달 전35회 조회
1개 답변
0

【以下的回答经过翻译处理】 截至目前,还无法自动查询模型的所有版本/变体。您可以通过“invoke_endpoint”方法指定要使用哪个变体。因此,我建议编写一个Lambda函数逐一调用每个终端节点(请参阅此处:https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html)。严谨点说,就是您可以在Lambda代码中添加一个函数,它首先检索所有终端变体(请参见此处:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.describe_endpoint),然后逐一查询它们并返回所有结果。

profile picture
전문가
답변함 8달 전

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인

관련 콘텐츠