KDA(Flink)到S3

0

【以下的问题经过翻译处理】 一位客户正在构建一种流式解决方案,用于处理客户发送的消息。流中的数据来自多个客户 - 每个流中的JSON都有一个customerId,告诉你最初是哪个客户发送了数据。

他们想将这些数据存储在S3上,但是按customerId进行分区。我们可以使用多个Firehose(每个customerId一个)来实现这一点。在Flink中是否可以实现这一点 - 使用Flink从Kinesis流中提取并将数据发送到S3中基于customerId的多个目的地,我推测这是可能实现的 - 但我不确认是否容易,并且能否使用一些现有的库来解决?

谢谢。

profile picture
エキスパート
質問済み 5ヶ月前38ビュー
1回答
0

【以下的回答经过翻译处理】 本文描述了如何使用KDA / Flink实现此用例:https://aws.amazon.com/blogs/big-data/streaming-etl-with-apache-flink-and-amazon-kinesis-data-analytics/。 "在Amazon S3中使用数据分区持久化数据"部分描述了如何实现数据分区,并可以在GitHub上找到源代码:https://github.com/aws-samples/amazon-kinesis-analytics-streaming-etl

profile picture
エキスパート
回答済み 5ヶ月前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン