KDA(Flink)到S3

0

【以下的问题经过翻译处理】 一位客户正在构建一种流式解决方案,用于处理客户发送的消息。流中的数据来自多个客户 - 每个流中的JSON都有一个customerId,告诉你最初是哪个客户发送了数据。

他们想将这些数据存储在S3上,但是按customerId进行分区。我们可以使用多个Firehose(每个customerId一个)来实现这一点。在Flink中是否可以实现这一点 - 使用Flink从Kinesis流中提取并将数据发送到S3中基于customerId的多个目的地,我推测这是可能实现的 - 但我不确认是否容易,并且能否使用一些现有的库来解决?

谢谢。

profile picture
전문가
질문됨 5달 전38회 조회
1개 답변
0

【以下的回答经过翻译处理】 本文描述了如何使用KDA / Flink实现此用例:https://aws.amazon.com/blogs/big-data/streaming-etl-with-apache-flink-and-amazon-kinesis-data-analytics/。 "在Amazon S3中使用数据分区持久化数据"部分描述了如何实现数据分区,并可以在GitHub上找到源代码:https://github.com/aws-samples/amazon-kinesis-analytics-streaming-etl

profile picture
전문가
답변함 5달 전

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인