1 Answer
- Newest
- Most votes
- Most comments
1
这个需要深入了解一下存储log后使用的方式,比如只是进行archive,那其实后续不会有很多其他操作。看问题里面说读取,则通常是为了查询,这个时候建议通过更好的方式去做,比如opensearch, log hub这样现成的形式,如果单独读取肯定还是相对复杂。
需要解释一下,1. S3提供的是一个存储,主要的目的是存,所以不建议对文件进行append、modify这样的操作。2. 针对这个问题,可以在后端对日志整理的时候进行合并,再存s3 甚至glacier,或者是前端日志生成的阶段设置稍大的间隔,减少文件过于小的问题。
S3 不支持 append 操作。建议本地日志存储到 一定量 再上传 S3;或者写个脚本来合并碎片文件;或者使用 firehose 流保存日志,firehose 可以设置缓存大小来控制 S3 文件的大小。
answered a year ago
Relevant content
- asked 10 months ago
- Accepted Answerasked a month ago
- asked a year ago
- AWS OFFICIALUpdated a year ago
- AWS OFFICIALUpdated 6 months ago