¿Por qué no puedo aumentar el volumen de disco de Amazon EBS en mi clúster de Amazon MSK?

Solución

Las causas más comunes de este problema son las siguientes:

• No cuenta con los permisos necesarios para modificar el volumen de Amazon EBS.
• Su clúster se encuentra en estado Optimización por una actualización de volumen previa de Amazon EBS.

No cuenta con los permisos necesarios para modificar el volumen de Amazon EBS

Asegúrese de contar con los permisos necesarios para modificar el volumen de disco de EBS del clúster. Asegúrese de asociar la política AmazonMskFullAccess o AmazonMskClusterManagement a su usuario o rol de AWS Identity and Access Management (IAM).

Su clúster se encuentra en estado Optimización por una actualización de volumen previa de Amazon EBS

En este caso, aparece el error «Se está modificando un volumen de EBS de este clúster por una operación previa».

Cuando aumenta el tamaño de un volumen de EBS que está asociado a su nodo del agente de Amazon MSK, el almacenamiento que acaba de añadir estará disponible de inmediato. Sin embargo, el clúster tarda en optimizarse, como mínimo, de 6 a 24 horas. La duración de la optimización del clúster es proporcional al tamaño del almacenamiento.

Al aumentar el tamaño del volumen de EBS, asegúrese de que el volumen que añada sea suficiente, como mínimo, para las próximas 48 horas. Durante este período, no puede añadir más volúmenes al clúster. y no puede seguir actualizando el volumen hasta que el clúster esté optimizado.

Importante: Pongamos que su clúster se está optimizando y que se está quedando sin espacio en disco. En este caso, tiene que desactivar el escalado automático si lo ha activado previamente. De lo contrario, cuando se complete la optimización, el volumen solo aumentará un 10 % o 10 GB. Es posible que esta cantidad sea insuficiente y que cause problemas similares a los de la modificación del volumen. Tras desactivar el escalado automático, asegúrese de analizar los patrones de tráfico y aumentar en consecuencia su espacio de almacenamiento.

Si su clúster está en proceso de modificación y la métrica KafkaDataLogsDiskUsed es inferior al 94 %, puede eliminar los temas antiguos o que no utilice para liberar espacio. Ejecute el siguiente comando para determinar el espacio que ocupa cada tema:

kafka-topics.sh --command-config /tmp/client.properties --bootstrap-server $bservers --list | xargs -I{} sh -c "echo -n '{} - ' && kafka-log-dirs.sh --command-config /tmp/client.properties --bootstrap-server $bservers --topic-list {} --describe | grep '^{'  | jq '[ ..|.size? | numbers ] | add' | numfmt --to iec " | tee /tmp/topics-by-size.list

A continuación, elimine los temas antiguos o que no utilice para liberar espacio en disco.

Nota: Si KafkaDataLogsDiskUsed es superior al 94 %, es posible que el comando no ofrezca respuesta. En este caso, no podrá eliminar los temas.