KDA(Flink)到S3

0

【以下的问题经过翻译处理】 一位客户正在构建一种流式解决方案,用于处理客户发送的消息。流中的数据来自多个客户 - 每个流中的JSON都有一个customerId,告诉你最初是哪个客户发送了数据。

他们想将这些数据存储在S3上,但是按customerId进行分区。我们可以使用多个Firehose(每个customerId一个)来实现这一点。在Flink中是否可以实现这一点 - 使用Flink从Kinesis流中提取并将数据发送到S3中基于customerId的多个目的地,我推测这是可能实现的 - 但我不确认是否容易,并且能否使用一些现有的库来解决?

谢谢。

profile picture
EXPERTE
gefragt vor 5 Monaten38 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 本文描述了如何使用KDA / Flink实现此用例:https://aws.amazon.com/blogs/big-data/streaming-etl-with-apache-flink-and-amazon-kinesis-data-analytics/。 "在Amazon S3中使用数据分区持久化数据"部分描述了如何实现数据分区,并可以在GitHub上找到源代码:https://github.com/aws-samples/amazon-kinesis-analytics-streaming-etl

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen