为了实现低延迟查询,机器学习模型预测缓存的最佳方式是什么?

0

【以下的问题经过翻译处理】 我想提高AWS在机器学习模型预测缓存方面的处理方式。假设我们想在REST API的上游提供一个查找表,其中包含过去的预测,并在每个预测中查找它,以避免在计算给定的输入输出对时重新运行模型。在缓存更新之间等待几分钟是可以的,典型的TTL可能在几分钟到几天之间。在AWS中,最好的方法是什么?

  1. 使用API GW的缓存功能?
  2. 使用一个预热的Lambda@Edge,它在本地具有过去预测的查找文件?
  3. 在模型调用的上游使用DAX或Elasticache?有没有一种让DAX或Elasticache在边缘生效的方法?
1개 답변
0

【以下的回答经过翻译处理】 您可以在API前面使用CloudFront,根据源站发送的cache-Control头缓存HTTP响应。请注意,这只适用于GET/HEAD HTTP请求。

profile picture
전문가
답변함 10달 전

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인