为了实现低延迟查询,机器学习模型预测缓存的最佳方式是什么?

0

【以下的问题经过翻译处理】 我想提高AWS在机器学习模型预测缓存方面的处理方式。假设我们想在REST API的上游提供一个查找表,其中包含过去的预测,并在每个预测中查找它,以避免在计算给定的输入输出对时重新运行模型。在缓存更新之间等待几分钟是可以的,典型的TTL可能在几分钟到几天之间。在AWS中,最好的方法是什么?

  1. 使用API GW的缓存功能?
  2. 使用一个预热的Lambda@Edge,它在本地具有过去预测的查找文件?
  3. 在模型调用的上游使用DAX或Elasticache?有没有一种让DAX或Elasticache在边缘生效的方法?
1 回答
0

【以下的回答经过翻译处理】 您可以在API前面使用CloudFront,根据源站发送的cache-Control头缓存HTTP响应。请注意,这只适用于GET/HEAD HTTP请求。

profile picture
专家
已回答 8 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则