同时运行终端所有变体的需求。

0

【以下的问题经过翻译处理】 我有一个客户问我有关Rendezvous architecture的问题。我的想法是,我们可以使用多种方式来实现这一点,这些方法都使用了终端变体:

  • 在终端周围使用Lambda(也可能会用到SQS);
  • 一个自定义的监控工作;
  • 步骤函数

如果不考虑上述选项的细节、评估方式或SLA,看起来好像几个模型都非常适合作为终端的变体。问题是,该架构希望调用所有这些模型。是否有一种直接调用模型所有变体的方法,或者是否需要一个包装器来识别变体、调用它们并处理结果?

profile picture
EXPERTE
gefragt vor 8 Monaten35 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 截至目前,还无法自动查询模型的所有版本/变体。您可以通过“invoke_endpoint”方法指定要使用哪个变体。因此,我建议编写一个Lambda函数逐一调用每个终端节点(请参阅此处:https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html)。严谨点说,就是您可以在Lambda代码中添加一个函数,它首先检索所有终端变体(请参见此处:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.describe_endpoint),然后逐一查询它们并返回所有结果。

profile picture
EXPERTE
beantwortet vor 8 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen

Relevanter Inhalt