Firehose Active Partition Count Exceeded

1

Hi,

I am writing data to S3 from an event bus using dynamic partitioning of the scheme data/events/!{partitionKeyFromQuery:source}/!{partitionKeyFromQuery:detail_type}/!{partitionKeyFromQuery:year}/!{partitionKeyFromQuery:month}/!{partitionKeyFromQuery:day}/!{partitionKeyFromQuery:hour}/

When there is an influx of data I experience an error in firehose of "Firehose Active Partition Count Exceeded" (default is 500 active partitions)

Q - Given one record in the buffer, how many active partitions would the above partition scheme create?

Thank you!

질문됨 일 년 전667회 조회
1개 답변
0

Can you anyone help?

답변함 일 년 전

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인

관련 콘텐츠