Warum kann ich das Amazon EBS-Festplattenvolumen in meinem Amazon MSK-Cluster nicht erhöhen?

Auflösung

Die häufigsten Ursachen für dieses Problem sind die folgenden:

• Sie verfügen nicht über die erforderlichen Berechtigungen, um das Amazon EBS-Volume zu ändern.
• Ihr Cluster befindet sich im Status Optimierung eines früheren Amazon EBS-Volume-Upgrades.

Sie verfügen nicht über die erforderlichen Berechtigungen, um das Amazon EBS-Volume zu ändern

Stellen Sie sicher, dass Sie über die erforderlichen Berechtigungen verfügen, um das EBS-Festplattenvolume für Ihren Cluster zu ändern. Vergewissern Sie sich, dass Sie die AmazonMSKFullAccess- oder AmazonMSKClusterManagement-Richtlinie an Ihren AWS Identity and Access Management (IAM)-Benutzer oder Ihre Rolle angehängt haben.

Ihr Cluster befindet sich nach einem früheren Amazon EBS-Volume-Upgrade im Optimierungszustand

In diesem Fall erhalten Sie die Fehlermeldung "An EBS volume in this cluster is under modification from a previous operation" (Ein EBS-Volume in diesem Cluster wird aufgrund eines früheren Vorgangs geändert).

Wenn Sie die Größe eines EBS-Volumes erhöhen, das an Ihren Amazon MSK-Brokerknoten angehängt ist, steht Ihnen der neu hinzugefügte Speicher sofort zur Verfügung. Es dauert jedoch 6 bis 24 Stunden oder länger, bis der Cluster optimiert ist. Die Dauer der Clusteroptimierung ist proportional zur Größe des Speichers.

Wenn Sie das EBS-Volumen erhöhen, stellen Sie sicher, dass das zusätzliche Volume für die nächsten 48 Stunden oder länger ausreicht. Während dieses Zeitraums können Sie Ihrem Cluster keine weiteren Volumes hinzufügen. Sie können das Volume erst weiter aktualisieren, wenn der Cluster optimiert ist.

Wichtig: Angenommen, Ihr Cluster wird optimiert und Ihnen geht bereits der Festplattenspeicher aus. Stellen Sie in diesem Fall sicher, dass Sie Auto Scaling deaktivieren, falls Sie sie zuvor aktiviert haben. Andernfalls wird das Volumen nach Abschluss der Optimierung nur um 10 % oder 10 GB erhöht. Dieser Wert ist möglicherweise zu niedrig, was zu ähnlichen Problemen bei der Volume-Änderung führt. Achten Sie nach dem Deaktivieren des Auto Scaling darauf, Ihre Datenverkehrsmuster zu analysieren und Ihren Speicherplatz entsprechend zu erhöhen.

Wenn Ihr Cluster geändert wird und die Metrik KafkaDataLogsDiskUsed weniger als 94 % beträgt, können Sie ungenutzte oder alte Themen löschen, um Speicherplatz freizugeben. Führen Sie den folgenden Befehl aus, um den pro Thema belegten Speicherplatz zu ermitteln:

kafka-topics.sh --command-config /tmp/client.properties --bootstrap-server $bservers --list | xargs -I{} sh -c "echo -n '{} - ' && kafka-log-dirs.sh --command-config /tmp/client.properties --bootstrap-server $bservers --topic-list {} --describe | grep '^{'  | jq '[ ..|.size? | numbers ] | add' | numfmt --to iec " | tee /tmp/topics-by-size.list

Löschen Sie anschließend die ungenutzten oder alten Themen, um Speicherplatz freizugeben.

Hinweis: Wenn KafkaDataLogsDiskUsed höher als 94 % ist, reagiert dieser Befehl möglicherweise nicht. In diesem Fall können Sie die Themen nicht löschen.