将数据加载到OpenSearch的成本比较

0

【以下的问题经过翻译处理】 客户目前正在爬去数据并写入S3,再加载到Amazon OpenSearch。当前架构如下。

ECS-> EC2-> S3-> EC2-> AOS

看起来像他们很久以前就建立了这个流水线,想优化工作流程。他们正在使用ECS(他们将旧的C#代码容器化),通过EC2运行它以写入S3,然后使用另一个EC2实例将数据加载到ES中。这似乎是一个非常低效的解决方案。还似乎有很多关于ECS和爬虫代码的未知,他们不想触碰它。考虑到这些信息,我认为以下架构更为合理。

ECS + Kinesis agent-> Kinesis Firehose + Lambda-> ES(以及通过备份的S3)

我想知道的是 1.上述工作流程是否有意义? 2.客户关注价格。虽然很难得到精确估计,但我希望能够了解是否做过类似的比较。这个客户拥有一个小团队,不想投入资源以获得更昂贵的解决方案。

profile picture
EXPERTE
gefragt vor 5 Monaten164 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 是的,建议的工作流程非常有道理。将这个工作负载迁移到Kinesis Firehose上,将会提供比当前架构更多的好处,如自动扩展、高可用性、无需管理、易于使用等。

Firehose的定价是基于您将数据注入Firehose的数量以及数据格式转换为Parquet或ORC的费用的,这不是本需求所需要的。

请参阅链接https://aws.amazon.com/kinesis/data-firehose/pricing/

定价示例#4说明了如何计算Firehose将数据加载到OpenSearch集群的定价。您需要收集记录大小、每秒记录数等容量指标,才能计算每月Firehose流的定价,并将其与现有解决方案进行比较。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen