Firehose only delivers 99% of records to s3

0

I have set up a firehose (direct put) to deliver messages to a s3 bucket.

Unfortunately, regardless of the number of message to be delivery, Firehose always delivers n-500 messages.

In screenshot attached, we can see what happens when attempting to deliver 500000 records, it gets stuck at 4995000. Same happens when I attempt to deliver 200000 messages, it gets stuck at 199500

I have replaced the firehose, change the instances, even tried to do the same from different aws accounts, but the result is the same.

Anyone who could shed some light on this would be very much appreciated.

Sincerley,

Josep Maria

Edited by: JosepMaria on Sep 27, 2020 5:53 AM

Edited by: JosepMaria on Sep 27, 2020 5:57 AM

質問済み 4年前243ビュー
1回答
1
承認された回答

Modify code by adding :

"initialPositionon":"START_OF_FILE",

回答済み 3年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ