将数据加载到OpenSearch的成本比较

0

【以下的问题经过翻译处理】 客户目前正在爬去数据并写入S3,再加载到Amazon OpenSearch。当前架构如下。

ECS-> EC2-> S3-> EC2-> AOS

看起来像他们很久以前就建立了这个流水线,想优化工作流程。他们正在使用ECS(他们将旧的C#代码容器化),通过EC2运行它以写入S3,然后使用另一个EC2实例将数据加载到ES中。这似乎是一个非常低效的解决方案。还似乎有很多关于ECS和爬虫代码的未知,他们不想触碰它。考虑到这些信息,我认为以下架构更为合理。

ECS + Kinesis agent-> Kinesis Firehose + Lambda-> ES(以及通过备份的S3)

我想知道的是 1.上述工作流程是否有意义? 2.客户关注价格。虽然很难得到精确估计,但我希望能够了解是否做过类似的比较。这个客户拥有一个小团队,不想投入资源以获得更昂贵的解决方案。

profile picture
专家
已提问 5 个月前155 查看次数
1 回答
0

【以下的回答经过翻译处理】 是的,建议的工作流程非常有道理。将这个工作负载迁移到Kinesis Firehose上,将会提供比当前架构更多的好处,如自动扩展、高可用性、无需管理、易于使用等。

Firehose的定价是基于您将数据注入Firehose的数量以及数据格式转换为Parquet或ORC的费用的,这不是本需求所需要的。

请参阅链接https://aws.amazon.com/kinesis/data-firehose/pricing/

定价示例#4说明了如何计算Firehose将数据加载到OpenSearch集群的定价。您需要收集记录大小、每秒记录数等容量指标,才能计算每月Firehose流的定价,并将其与现有解决方案进行比较。

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则