Perché non posso aumentare il volume del disco Amazon EBS nel mio cluster Amazon MSK?

Risoluzione

Le cause più comuni di questo problema sono le seguenti:

• Non disponi delle autorizzazioni necessarie per modificare il volume Amazon EBS.
• Il cluster è in stato di ottimizzazione rispetto a un precedente aggiornamento del volume Amazon EBS.

Non disponi delle autorizzazioni necessarie per modificare il volume Amazon EBS

Assicurati di disporre delle autorizzazioni necessarie per modificare il volume del disco EBS per il tuo cluster. Assicurati di aver allegato la policy AmazonMSKFullAccess o AmazonMSKClusterManagement al tuo utente o ruolo AWS Identity and Access Management (IAM).

Il cluster è in stato di ottimizzazione rispetto a un precedente aggiornamento del volume Amazon EBS

In questo caso, viene visualizzato l'errore "Un volume EBS in questo cluster è in fase di modifica rispetto a un'operazione precedente".

Quando aumenti le dimensioni di un volume EBS collegato al tuo nodo broker Amazon MSK, lo storage appena aggiunto è immediatamente disponibile. Tuttavia, sono necessarie da 6 a 24 ore o più per l'ottimizzazione del cluster. La durata dell'ottimizzazione del cluster è proporzionale alla dimensione dello storage.

Quando aumenti le dimensioni del volume EBS, assicurati che il volume aggiunto sia sufficiente per le prossime 48 ore o più. Durante questo periodo, non puoi aggiungere altri volumi al tuo cluster. Non puoi aggiornare ulteriormente il volume finché il cluster non viene ottimizzato.

Importante: Supponiamo che il cluster sia ottimizzato e che lo spazio su disco sia già esaurito. In questo caso, assicurati di disattivare il ridimensionamento automatico se lo hai attivato in precedenza. Altrimenti, quando l'ottimizzazione è completa, il volume viene aumentato solo del 10% o di 10 GB. Questo valore potrebbe essere troppo basso e causare problemi simili con la modifica del volume. Dopo aver disattivato il ridimensionamento automatico, assicurati di analizzare i modelli di traffico e aumentare di conseguenza lo spazio di archiviazione.

Se il cluster è in fase di modifica e la metrica KafkaDataLogsDiskUsed è inferiore al 94%, puoi eliminare argomenti inutilizzati o vecchi per liberare spazio. Esegui il seguente comando per determinare lo spazio occupato per argomento:

kafka-topics.sh --command-config /tmp/client.properties --bootstrap-server $bservers --list | xargs -I{} sh -c "echo -n '{} - ' && kafka-log-dirs.sh --command-config /tmp/client.properties --bootstrap-server $bservers --topic-list {} --describe | grep '^{'  | jq '[ ..|.size? | numbers ] | add' | numfmt --to iec " | tee /tmp/topics-by-size.list

Quindi, elimina gli argomenti inutilizzati o vecchi per liberare spazio su disco.

Nota: Se KafkaDataLogsDiskUsed è superiore al 94%, questo comando potrebbe non rispondere. In questo caso, non puoi eliminare gli argomenti.