Amazon MSK クラスターの Amazon EBS ディスクのボリュームを増やすことができないのはなぜですか?

解決方法

この問題の最も一般的な原因は次のとおりです。

• Amazon EBS ボリュームを変更するための必要な権限を持っていない。
• クラスターがAmazon EBS ボリュームのアップグレード後 最適化中 状態になっている。

Amazon EBS ボリュームを変更するための必要な権限を持っていない

クラスターの EBS ディスクのボリュームを変更するために必要な権限を持っていることを確認してください。AWS Identity and Access Management (IAM) ユーザーまたはロールに AmazonMSKFullAccess または AmazonMSKClusterManagement ポリシーをアタッチしていることを確認してください。

クラスターが以前のAmazon EBS ボリュームのアップグレードから、最適化中状態になっている

この場合、「このクラスターの EBS ボリュームは以前の操作から変更中です」というエラーが表示されます。

Amazon MSK ブローカーノードにアタッチされている EBS ボリュームのサイズを増やすと、新しく追加されたストレージをすぐに利用できるようになります。ただし、クラスターが最適化されるのに6時間から24時間以上かかります。クラスター最適化の所要時間は、ストレージのサイズに比例します。

EBS ボリュームのサイズを増やす場合は、追加したボリュームが今後48時間以上にわたって十分に使用できることを確認してください。この期間中は、クラスターにボリュームを追加することはできません。クラスターが最適化されるまで、ボリュームの更新もできません。

**重要:**クラスターが最適化されているときに、すでにディスクスペースが不足しているとします。この場合、以前に自動スケーリングをオンにしていた場合は、必ずオフにしてください。そうしない場合、最適化が完了しても、ボリュームの増加は 10% または 10 GB だけにとどまります。これは低すぎるため、ボリュームの変更でも同様の問題が発生する可能性があります。自動スケーリングをオフにした後は、必ずトラフィックパターンを分析し、それに応じてストレージスペースを増やしてください。

クラスターが変更中で、KafkaDataLogsDiskUsed メトリクスが 94% 未満の場合は、未使用または古いトピックを削除して空きスペースを増やすことができます。以下のコマンドを実行して、トピックごとに占有されているスペースを確認します。

kafka-topics.sh --command-config /tmp/client.properties --bootstrap-server $bservers --list | xargs -I{} sh -c "echo -n '{} - ' && kafka-log-dirs.sh --command-config /tmp/client.properties --bootstrap-server $bservers --topic-list {} --describe | grep '^{'  | jq '[ ..|.size? | numbers ] | add' | numfmt --to iec " | tee /tmp/topics-by-size.list

次に、未使用または古いトピックを削除してディスクの空きスペースを確保します。

**メモ:**KafkaDataLogsDiskUsed が 94% を超える場合、このコマンドは応答しない可能性があります。この場合、トピックを削除することはできません。