如何从 OpenSearch (ElasticSearch) 中对特定客户端/索引进行限流？

Question

【以下的问题经过翻译处理】 我有以下两种日志流设置：
* Fargate 服务 -> Firelens/Fluent Bit -> OpenSearch (ElasticSearch) 集群
* Fargate 服务 -> Cloudwatch -> OpenSearch (ElasticSearch) 集群

我知道 [Fluent Bit Throttle](https://docs.fluentbit.io/manual/pipeline/filters/throttle)，但那是在客户端进行设置。
如果客户端推送大量的数据，我想知道OpenSearch（ElasticSearch）集群端有什么好的机制对该客户端/索引进行限流？

Answer

【以下的回答经过翻译处理】 当各自的线程池队列满时，OpenSearch 会进行[默认限流](https://aws.amazon.com/premiumsupport/knowledge-center/opensearch-resolve-429-error/) 。高线程池队列表明传入请求速率大于集群配置的处理的速率。

如果超出此范围，则必须通过考虑“CPUUtilization”、“JVMMemoryPressure”等指标来设置反馈机制。您可以设置 [针对指标的 CloudWatch 警报](https://docs.aws .amazon.com/opensearch-service/latest/developerguide/cloudwatch-alarms.html）通过 SNS 通知您，并配置 SNS 以调用 Lambda 函数以根据需要降低客户端的写入速率。

如何从 OpenSearch (ElasticSearch) 中对特定客户端/索引进行限流？

相關內容