Come faccio a risolvere i problemi quando aggiorno il mio cluster Amazon MSK?

Risoluzione

Nota: se ricevi errori quando esegui i comandi dell'Interfaccia della linea di comando AWS (AWS CLI), consulta Risoluzione degli errori per AWS CLI. Inoltre, assicurati di utilizzare la versione più recente di AWS CLI.

Considerazioni e best practice

Prima di aggiornare un cluster Amazon MSK, consulta le seguenti best practice:

• Imposta il fattore di replica per il cluster su 3 o più. Un fattore di replica pari a 1 potrebbe causare partizioni offline durante un aggiornamento progressivo. Un fattore di replica pari a 2 potrebbe comportare la perdita di dati.
• Imposta il numero minimo di repliche sincronizzate (miniSR) su un valore del fattore di replica pari o inferiore a 1. Se il valore miniSR è uguale al fattore di replica, potrebbe bloccare la produzione del cluster durante un aggiornamento progressivo. Un minISR di 2 consente di rendere disponibili topic replicati a tre vie quando una replica è offline.
• Prima di aggiornare la configurazione di un cluster, assicurati che il cluster sia nello stato ATTIVO.
• Utilizza la versione consigliata di Apache Kafka quando crei nuovi cluster Amazon MSK.
• Includi almeno un broker per ogni zona di disponibilità nelle stringhe del client. Più broker nella stringa di connessione di un client consentono il failover quando un broker specifico va offline per un aggiornamento.
• Utilizza Apache Kafka AdminClient versione 2.8.0 o successiva per la gestione dei topic.
• Aggiorna i client di connessione alla versione consigliata o a una superiore. Gli aggiornamenti dei client non sono soggetti alle date di fine vita (EOL) della versione Kafka del cluster Amazon MSK.
  Nota: Apache Kafka fornisce una policy di compatibilità dei client bidirezionale che consente ai client meno recenti di lavorare con cluster più recenti e consente ai client più recenti di lavorare con cluster meno recenti. Per ulteriori informazioni, consulta Compatibility (Compatibilità) sul sito web Apache Kafka.
• Aggiorna il cluster nei momenti di traffico ridotto. Il tempo necessario per aggiornare la versione di Apache Kafka dipende dal numero di broker presenti nel cluster.
  Nota: quando aggiorni la versione del cluster, non puoi effettuare altri aggiornamenti finché l'aggiornamento della versione non è completo. Puoi comunque produrre e consumare dal cluster durante l'aggiornamento.

Nota: quando aggiorni il tipo di istanza, la versione del cluster non si aggiorna automaticamente.

Per ulteriori informazioni, consulta Best practice per gli aggiornamenti delle versioni.

Monitora l'aggiornamento

Quando crei un cluster Amazon MSK, puoi specificare la versione di Apache Kafka che ti serve nel cluster. Puoi inoltre aggiornare il cluster a una versione più recente di Apache Kafka dopo averlo creato.

Puoi monitorare l'avanzamento dell'aggiornamento nella scheda Operazioni del cluster della console Amazon MSK. Quando l'aggiornamento raggiunge il 17%, il suo completamento potrebbe richiedere diverse ore.

Nota: Amazon MSK esegue l'aggiornamento in base a un processo di riavvio progressivo. Amazon MSK rimuove un broker alla volta dal cluster e ne aggiorna la versione di Kafka. Il broker aggiornato si unisce nuovamente al cluster e Amazon MSK elimina il successivo. Questo processo continua fino a quando Amazon MSK non ha aggiornato l'ultimo broker con la nuova versione di Kafka.

Per monitorare l'avanzamento dell'aggiornamento del cluster, tramite AWS CLI, esegui il comando describe-cluster-operations:

aws kafka describe-cluster-operation —cluster-operation-arn ClusterOperationArn

Se l'operazione è nello stato Incompleto o Non riuscito, contatta il Supporto AWS.

Risolvi gli errori

Le operazioni di partizione su un broker consumano grandi quantità di risorse di sistema. Se hai un numero di partizioni elevato rispetto al limite consigliato, è possibile che si verifichi un sovraccarico delle risorse disponibili nel cluster. Quando le risorse del cluster si esauriscono, non puoi aggiornare la configurazione del cluster, la versione di Apache Kafka per il cluster o il cluster a un tipo di broker più piccolo. Quando il numero di partizioni per broker supera il valore consigliato, viene visualizzato uno dei seguenti errori:

"Error updating cluster configuration There was a problem updating cluster configuration. If the problem persists, contact AWS Support. The number of partitions per broker is above the recommended limit. Add more brokers and rearrange the partitions per broker to be below the recommended limit, then retry the request."

-oppure-

"Upgrade is stuck in the stage 'Initializing upgrade'"

Per risolvere gli errori precedenti, intraprendi le seguenti azioni:

• Aumenta il numero di broker all'interno del cluster. Quindi riassegna le partizioni per ridurre il numero di partizioni per broker. Utilizza le metriche di Amazon CloudWatch per monitorare il numero di partizioni per broker. Per ulteriori informazioni, consulta Configurazione predefinita di Amazon MSK.
• Elimina i topic non utilizzati. Per visualizzare tutti i topic nel cluster e il numero di partizioni, esegui questo comando:

  KAFKA_ROOT/bin/kafka-topics.sh --bootstrap-server
  BOOTSTRAP_SERVER --describe --topic Topic_name

  Nota: sostituisci Topic_name con il nome del topic.
  Prima di eseguire il comando precedente, configura un client Apache Kafka su un computer Amazon Elastic Compute Cloud (Amazon EC2)
• Modifica il tipo di istanza scegliendo un tipo di istanza superiore.