Amazon Managed Streaming for Apache Kafka (Amazon MSK) クラスターの保持期間を更新したいです。
簡単な説明
Amazon MSK データの保持期間を使用すると、MSK クラスターに保存するデータ量を制御できます。保持期間を設定すると、不要な古いメッセージを自動的に削除できるため、ストレージコストを削減し、クラスターのパフォーマンスを向上できる可能性があります。
デフォルトでは、Amazon MSK のデータ保持期間は 7 日間です。ただし、要件に合わせて保存期間を変更できます。保持期間を正しく設定しなかった場合、Amazon MSK は適切な期間にデータを削除しない可能性があります。
Apache Kafka はトピックパーティションをセグメントに分割します。デフォルトの最大セグメントサイズは 1 GB です。最大サイズを変更するには、ブローカーレベルで log.segment.bytes を更新するか、トピックレベルで segment.bytes を更新します。詳細については、Apache Kafka のウェブサイトので「ブローカー設定の更新」および「デフォルトトピック設定の更新」を参照してください。
なお、Apache Kafka は log.roll.ms を使用してセグメントのライフサイクルを制御します。これらの設定によりセグメントの最大保存期間を決定します。デフォルト値は、168 時間です。Apache Kafka は、segments.bytes または log.roll.ms が設定した制限値に達した場合にのみ、新しいセグメントを作成します。Apache Kafka が新しいセグメントを作成すると、古いセグメントは非アクティブになります。次に、新しいセグメントが設定した retention.ms 値に達したタイミングで MSK は古いセグメントを削除します。
注: 非アクティブなセグメントのみを削除できます。
解決策
保持期間を設定するには、retention.ms パラメータと segment.ms の設定を変更します。
たとえば、segment.ms の値を 24hrs に設定し、retention.ms の値を 24hrs に設定した場合、Amazon MSK は 48 時間後にデータを削除します。その後、24 時間の期間、1 GBのデータ制限のどちらかが最初に満たされた際に、セグメントは非アクティブになります。
24 時間後にデータを削除する場合は、segment.ms のデフォルト値を 1hr に、retention.ms の値を 23hrs に減らします。Amazon MSK は、24 時間経過した場合、またはセグメントが設定されたサイズ値に達した場合のうち最初に発生したタイミングで、データを削除します。
すべてのトピックの現在のサイズを計算するには、Amazon MSK で Apache Kafka コマンドラインインターフェイス (CLI) を使用し、次のコマンドを実行します。
./kafka-topics.sh --command-config client.properties --bootstrap-server $BK --list |
xargs -I{} sh -c "echo -n '{} - ' &&
./kafka-log-dirs.sh --command-config client.properties --bootstrap-server $BK --topic-list {} --describe |
grep '^{' |
jq '[ ..|.size? | numbers ] | add' |
numfmt --to iec " |
tee /tmp/topics-by-size.list
注: 上記のコマンドは、Apache Kafka CLI を使用してすべてのトピックを一覧表示し、各トピックのサイズを計算して返します。
出力例:
BrandNewTopic - 0
CrossAccountMskTopic - 0
NewTopicwithNewInstance - 0
SameAccountMskTopic - 0
Test - 0
__amazon_msk_canary - 4.6M
__consumer_offsets - 33M
dataloss - 1.8K
datalossB1 - 999
provisioned - 0
ストレージ活用のベストプラクティスを次に示します。
- log.segments.bytes または log.roll.ms の値を確認し、セグメントの値を減らします。低い値を設定すると、セグメントが頻繁に作成されるため、古いセグメントを非アクティブにできます。
- segment.ms パラメータと segment.bytes パラメータを微調整し、ストレージの効率とブローカーのパフォーマンスのバランスを取ります。パラメータを低く設定しすぎると、CPU のオーバーヘッドが増加するため、ブローカーのリソースに負担がかかる可能性があります。
注: log.segments.bytes と log.roll.ms はブローカーレベルのセグメント設定です。segment.bytes と segment.ms はトピックレベルのセグメント設定です。トピックレベルの設定は、ブローカーレベルの設定よりも優先されます。
関連情報
retention.ms (Apache Kafka のウェブサイト)