如何在N个Greengrass设备上部署N个模型,同时使用唯一的Lambda进行推理逻辑?

0

【以下的问题经过翻译处理】 我们正在考虑一下在Greengrass管理设备上进行机器学习边缘推断的用例。模型对于每个设备都是独特的,但是其架构和调用逻辑对于所有设备都是相同的。换句话说,相同的调用Lambda可以用于所有设备,只需要在设备之间更改模型参数即可。我们想要向所有设备部署一个独特的推断Lambda,并向每个设备加载特定于设备的工件。

带有Greengrass ML Inference的这种情况是否可以实现?似乎GG MLI要求每个模型都与特定的Lambda关联。

否则,推荐的模式是在Lambda中进行自我管理的推断吗?例如,通过从S3加载特定模型、唯一本地配置文件或某些环境变量加载。

1 Antwort
0

【以下的回答经过翻译处理】 在IoT Greengrass 1.x中,配置是针对每个Greengrass Group独特的。这包括连接器,Lambdas和ML资源。

同一个Lambda可以作为Greengrass函数被多个组引用,这可能是您想要的。这类似于使用GG ML连接器(对象检测或图像分类)之一。

除了推理代码,您还需要配置一个ML资源,它有一个本地名称和一个远程模型。本地名称对于所有Greengrass Groups都相同,但在每个组中,您将引用不同的远程对象(模型)- S3或SageMaker作业。

每当模型更改时,您需要重新部署相应的Greengrass组以在本地部署更改。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen