KDA(Flink)到S3

0

【以下的问题经过翻译处理】 一位客户正在构建一种流式解决方案,用于处理客户发送的消息。流中的数据来自多个客户 - 每个流中的JSON都有一个customerId,告诉你最初是哪个客户发送了数据。

他们想将这些数据存储在S3上,但是按customerId进行分区。我们可以使用多个Firehose(每个customerId一个)来实现这一点。在Flink中是否可以实现这一点 - 使用Flink从Kinesis流中提取并将数据发送到S3中基于customerId的多个目的地,我推测这是可能实现的 - 但我不确认是否容易,并且能否使用一些现有的库来解决?

谢谢。

profile picture
专家
已提问 5 个月前33 查看次数
1 回答
0

【以下的回答经过翻译处理】 本文描述了如何使用KDA / Flink实现此用例:https://aws.amazon.com/blogs/big-data/streaming-etl-with-apache-flink-and-amazon-kinesis-data-analytics/。 "在Amazon S3中使用数据分区持久化数据"部分描述了如何实现数据分区,并可以在GitHub上找到源代码:https://github.com/aws-samples/amazon-kinesis-analytics-streaming-etl

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则