使用CloudWatch与ElasticSearch/Kibana进行日志记录的比较
【以下的问题经过翻译处理】 我有一个客户目前正在使用Logstash。他们正在询问Logstash与CloudWatch和ElasticSearch/Kibana集成的情况。同时也想了解一下CloudWatch与ElasticSearch日志记录的一般比较。每种方法的优缺点和建议是什么？
- 最新
- 投票最多
- 评论最多
【以下的回答经过翻译处理】 1.比较
Cloudwatch Logs提供高度耐用的日志集中存储，并允许客户跟踪日志中出现的错误数量并创建警报。它还支持简单的查询（http://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/FilterAndPatternSyntax.html）。客户不需要担心集群大小、存储、扩展等问题——因为没有需要管理的服务器。
Elasticsearch与Kibana在搜索和可视化日志方面提供了更多的功能。虽然我们的托管Elasticsearch服务OpenSearch减少了很多不同的重负载工作，但客户仍需要考虑一些监控，以确保他们在正确的位置拥有合适的容量，并将Elasticsearch数据备份到更耐久的位置，比如S3。
- Cloudwatch Logs和Elasticsearch
- Cloudwatch Logs - > Elasticsearch
客户可以通过将CloudWatch Logs流式传输到Elasticsearch来获得最佳效果
http://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CWL_ES_Stream.html
- Logstash -> Cloudwatch Logs
既然他们已经将数据推送到Logstash，那么该插件可以将数据发送到Cloudwatch Logs： https://github.com/awslabs/logstash-output-cloudwatchlogs
- Cloudwatch Agent -> Cloudwatch Logs
然而，Cloudwatch Logs代理可能是将日志放入CloudWatch日志中最简单的方法：http://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CWL_GettingStarted.html
- 如果不使用cloudwatch logs
- Logstash -> Elasticsearch （
既然他们已经使用Logstash，那么最简单的入门方式就是使用这个连接器将数据发送到Amazon Elasticsearch： https://github.com/awslabs/logstash-output-amazon_es
- Kinesis Firehose - > Elasticsearch 将 logstack 替换为 kinesis firehose，这样不需要自己用EC2托管 logstask https://aws.amazon.com/kinesis/firehose/firehose-to-elasticsearch-service/