Pourquoi ne puis-je pas augmenter le volume de disque d’Amazon EBS dans mon cluster Amazon MSK ?

Résolution

Les causes les plus courantes de ce problème sont les suivantes :

• Vous ne disposez pas des autorisations requises pour modifier le volume d’Amazon EBS.
• Votre cluster est en cours d'optimisation depuis une mise à niveau de volume précédente d’Amazon EBS.

Vous ne disposez pas des autorisations requises pour modifier le volume d’Amazon EBS

Assurez-vous de disposer des autorisations requises pour modifier le volume de disque d’EBS de votre cluster. Assurez-vous d'avoir associé la politique** AmazonMSKFullAccess** ou AmazonMSKClusterManagement à votre utilisateur ou à votre rôle de Gestion des identités et des accès AWS (IAM).

Votre cluster est en cours d'optimisation par rapport à une précédente mise à niveau du volume d’Amazon EBS

Dans ce cas, le message d'erreur suivant s'affiche : « Un volume d’EBS de ce cluster est en cours de modification depuis une opération précédente ».

Lorsque vous augmentez la taille d'un volume d’EBS rattaché à votre nœud Amazon MSK Broker, le stockage nouvellement ajouté est immédiatement disponible. Toutefois, l'optimisation du cluster prend entre 6 et 24 heures, voire plus. La durée de l'optimisation du cluster est proportionnelle à la taille du stockage.

Lorsque vous augmentez la taille du volume d’EBS, assurez-vous que le volume ajouté est suffisant pour les prochaines 48 heures ou plus. Pendant cette période, vous ne pouvez pas ajouter de volumes supplémentaires à votre cluster. Vous ne pouvez pas poursuivre la mise à jour du volume tant que le cluster n'est pas optimisé.

**Important :**Supposons que votre cluster soit optimisé et que vous manquez déjà d'espace disque. Dans ce cas, veillez à désactiver la mise à l'échelle automatique si vous l'avez déjà activée. Sinon, une fois l'optimisation terminée, le volume n'augmente que de 10 %, soit 10 Go. Ce chiffre est peut-être trop faible, ce qui entraîne des problèmes similaires lors de la modification du volume. Après avoir désactivé le dimensionnement automatique, veillez à analyser les modèles de trafic et à augmenter votre espace de stockage en conséquence.

Si votre cluster est en cours de modification et que la métrique KafkaDatalogsDiskUsed est inférieure à 94 %, vous pouvez supprimer les rubriques inutilisées ou anciennes pour libérer de l'espace. Exécutez la commande suivante pour déterminer l'espace occupé par sujet :

kafka-topics.sh --command-config /tmp/client.properties --bootstrap-server $bservers --list | xargs -I{} sh -c "echo -n '{} - ' && kafka-log-dirs.sh --command-config /tmp/client.properties --bootstrap-server $bservers --topic-list {} --describe | grep '^{'  | jq '[ ..|.size? | numbers ] | add' | numfmt --to iec " | tee /tmp/topics-by-size.list

Supprimez ensuite les rubriques inutilisées ou anciennes pour libérer de l'espace disque.

**Remarque :**Si la valeur du paramètre KafkaDatalogsDiskUsed est supérieure à 94 %, il se peut que cette commande ne réponde pas. Dans ce cas, vous ne pouvez pas supprimer les rubriques.