为了实现低延迟查询,机器学习模型预测缓存的最佳方式是什么?

0

【以下的问题经过翻译处理】 我想提高AWS在机器学习模型预测缓存方面的处理方式。假设我们想在REST API的上游提供一个查找表,其中包含过去的预测,并在每个预测中查找它,以避免在计算给定的输入输出对时重新运行模型。在缓存更新之间等待几分钟是可以的,典型的TTL可能在几分钟到几天之间。在AWS中,最好的方法是什么?

  1. 使用API GW的缓存功能?
  2. 使用一个预热的Lambda@Edge,它在本地具有过去预测的查找文件?
  3. 在模型调用的上游使用DAX或Elasticache?有没有一种让DAX或Elasticache在边缘生效的方法?
1 Antwort
0

【以下的回答经过翻译处理】 您可以在API前面使用CloudFront,根据源站发送的cache-Control头缓存HTTP响应。请注意,这只适用于GET/HEAD HTTP请求。

profile picture
EXPERTE
beantwortet vor 10 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen