KDA(Flink)到S3

0

【以下的问题经过翻译处理】 一位客户正在构建一种流式解决方案,用于处理客户发送的消息。流中的数据来自多个客户 - 每个流中的JSON都有一个customerId,告诉你最初是哪个客户发送了数据。

他们想将这些数据存储在S3上,但是按customerId进行分区。我们可以使用多个Firehose(每个customerId一个)来实现这一点。在Flink中是否可以实现这一点 - 使用Flink从Kinesis流中提取并将数据发送到S3中基于customerId的多个目的地,我推测这是可能实现的 - 但我不确认是否容易,并且能否使用一些现有的库来解决?

谢谢。

profile picture
ESPERTO
posta 5 mesi fa38 visualizzazioni
1 Risposta
0

【以下的回答经过翻译处理】 本文描述了如何使用KDA / Flink实现此用例:https://aws.amazon.com/blogs/big-data/streaming-etl-with-apache-flink-and-amazon-kinesis-data-analytics/。 "在Amazon S3中使用数据分区持久化数据"部分描述了如何实现数据分区,并可以在GitHub上找到源代码:https://github.com/aws-samples/amazon-kinesis-analytics-streaming-etl

profile picture
ESPERTO
con risposta 5 mesi fa

Accesso non effettuato. Accedi per postare una risposta.

Una buona risposta soddisfa chiaramente la domanda, fornisce un feedback costruttivo e incoraggia la crescita professionale del richiedente.

Linee guida per rispondere alle domande