同时运行终端所有变体的需求。

0

【以下的问题经过翻译处理】 我有一个客户问我有关Rendezvous architecture的问题。我的想法是,我们可以使用多种方式来实现这一点,这些方法都使用了终端变体:

  • 在终端周围使用Lambda(也可能会用到SQS);
  • 一个自定义的监控工作;
  • 步骤函数

如果不考虑上述选项的细节、评估方式或SLA,看起来好像几个模型都非常适合作为终端的变体。问题是,该架构希望调用所有这些模型。是否有一种直接调用模型所有变体的方法,或者是否需要一个包装器来识别变体、调用它们并处理结果?

profile picture
专家
已提问 8 个月前33 查看次数
1 回答
0

【以下的回答经过翻译处理】 截至目前,还无法自动查询模型的所有版本/变体。您可以通过“invoke_endpoint”方法指定要使用哪个变体。因此,我建议编写一个Lambda函数逐一调用每个终端节点(请参阅此处:https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html)。严谨点说,就是您可以在Lambda代码中添加一个函数,它首先检索所有终端变体(请参见此处:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.describe_endpoint),然后逐一查询它们并返回所有结果。

profile picture
专家
已回答 8 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则