如何使用Kinesis Data Stream或Delivery Stream 进行数据流缓冲?

0

【以下的问题经过翻译处理】 嗨,我正在实施的当前流水线涉及Kinesis Data Stream -> Kinesis Firehose -> S3,但是当将缓冲区间隔(S3和转换)设置为接近5分钟时,数据仍会快速出现在S3存储桶中。

为了我的目的,我需要将每5分钟的数据合并成一个大文件,推送到S3中,我认为Kinesis Firehose应该在从Kinesis Data Stream 中获取时再后台处理。

我很感激任何帮助

1 回答
0

【以下的回答经过翻译处理】 已解决问题,通过直接将文件放入Kinesis Firehose中,可以正常按照时间聚合文件。

然而,我没有发现Kinesis Data Stream -> Kinesis Firehose的转换没有正确聚合数据的原因,尽管我怀疑这可能与数据流碎片有关。

profile picture
专家
已回答 6 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则