¿Cómo soluciono los errores que aparecen al intentar conectarme a mi clúster de Amazon MSK?

Resolución

Errores que no están relacionados con un tipo de autenticación específico

Al intentar conectarte al clúster de Amazon MSK, es posible que recibas uno de los siguientes errores que no está relacionado con el tipo de autenticación que utilizas.

java.lang.OutOfMemoryError: Espacio en el montón de Java

Aparece el error OutOfMemoryError cuando ejecutas un comando para operaciones de clúster sin el archivo de propiedades del cliente. Para resolver este problema, incluye las propiedades adecuadas en función del tipo de autenticación en el archivo client.properties.

Ejemplo de comando con solo un puerto de autenticación de AWS Identity and Access Management (IAM):

./kafka-topics.sh --create --bootstrap-server $BOOTSTRAP:9098 --replication-factor 3 --partitions 1 --topic TestTopic

Ejemplo de comando con un puerto de autenticación de IAM y el archivo de propiedades del cliente:

./kafka-topics.sh --create --bootstrap-server $BOOTSTRAP:9098  --command-config client.properties --replication-factor 3 --partitions 1 --topic TestTopic

org.apache.kafka.common.errors.TimeoutException: Timed out waiting for a node assignment. Call: createTopics

Es posible que aparezca el error TimeoutException cuando hay un problema de configuración de red entre la aplicación cliente y el clúster de Amazon MSK.

Para solucionar este problema, ejecuta la siguiente prueba de conectividad desde el equipo cliente:

telnet bootstrap-broker port-number

Nota: Sustituye bootstrap-broker por una de las direcciones de agentes de tu clúster de Amazon MSK. Sustituye port-number por el valor de puerto correspondiente en función de la autenticación que esté activada en tu clúster.

Si el equipo cliente puede acceder a los agentes, entonces no hay problemas de conectividad. Si el equipo cliente no puede acceder a los agentes, revisa la conectividad de la red. Comprueba las reglas de entrada y salida del grupo de seguridad.

org.apache.kafka.common.errors.TopicAuthorizationException: No tienes autorización para acceder a los temas: [test_topic]

Aparece el error TopicAuthorizationException cuando utilizas una autenticación de IAM y tu política de acceso bloquea las operaciones temáticas, como WriteData y ReadData.

Nota: Los límites de permisos y las políticas de control de servicios (SPC) también bloquean el intento de un usuario de conectarse al clúster sin la autorización requerida.

Si utilizas una autenticación que no es de IAM, comprueba si has agregado listas de control de acceso (ACL) a nivel de tema que bloquean las operaciones.

Ejecuta el siguiente comando para enumerar las ACL que se aplican a un tema:

bin/kafka-acls.sh --bootstrap-server $BOOTSTRAP:PORT --command-config adminclient-configs.conf --list --topic testtopic

ZooKeeperClientTimeoutException

Es posible que aparezca el error ZooKeeperClientTimeoutException cuando el cliente intente conectarse al clúster a través de la cadena Apache ZooKeeper y no se pueda establecer la conexión. Este error también puede producirse cuando la cadena Apache ZooKeeper es incorrecta.

Ejemplo de una cadena Apache Zookeeper incorrecta:

./kafka-topics.sh --zookeeper z-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:2181,z-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:2181,z-3.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:2181 --list[2020-04-10 23:58:47,963] WARN Client session timed out, have not heard from server in 10756ms for sessionid 0x0 (org.apache.zookeeper.ClientCnxn)

Resultado de ejemplo:

[2020-04-10 23:58:58,581] WARN Client session timed out, have not heard from server in 10508ms for sessionid 0x0 (org.apache.zookeeper.ClientCnxn)
[2020-04-10 23:59:08,689] WARN Client session timed out, have not heard from server in 10004ms for sessionid 0x0 (org.apache.zookeeper.ClientCnxn)
Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
    at kafka.zookeeper.ZooKeeperClient.$anonfun$waitUntilConnected$3(ZooKeeperClient.scala:259)
    at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)
    at kafka.utils.CoreUtils$.inLock(CoreUtils.scala:253)
    at kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:255)
    at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:113)
    at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1858)
    at kafka.admin.TopicCommand$ZookeeperTopicService$.apply(TopicCommand.scala:321)
    at kafka.admin.TopicCommand$.main(TopicCommand.scala:54)
    at kafka.admin.TopicCommand.main(TopicCommand.scala)

Para solucionar este problema, toma las siguientes medidas:

• Comprueba que estás utilizando la cadena Apache ZooKeeper correcta.
• Asegúrate de que el grupo de seguridad de tu clúster de Amazon MSK permita el tráfico entrante del grupo de seguridad del cliente en los puertos Apache ZooKeeper.

Es posible que el bróker no esté disponible

«El tema 'topicName' no está presente en los metadatos después de 60 000 ms o la conexión al nodo -<node-id> (<broker-host>/<broker-ip>:<port>) no se pudo establecer. Es posible que el agente no esté disponible. (org.apache.kafka.clients.NetworkClient)»

Es posible que aparezca el error anterior si se cumple una de las siguientes condiciones:

• El productor o el consumidor no pueden conectarse al host ni al puerto del agente.
• La cadena del agente es incorrecta.

Si aparece este error a pesar de que la conectividad del cliente o del agente funcionó inicialmente, es posible que el agente no esté disponible.

También puede aparecer este error cuando usas la cadena del agente para generar datos para acceder al clúster desde fuera de la nube virtual privada (VPC).

Ejemplo de cadena de agente productor:

./kafka-console-producer.sh --broker-list b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9092,b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9092 --topic test

Resultado de ejemplo:

[2020-04-10 23:51:57,668] ERROR Error when sending message to topic test with key: null, value: 1 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Topic test not present in metadata after 60000 ms.

Ejemplo de cadena de agente consumidor:

./kafka-console-consumer.sh --bootstrap-server b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9092,b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9092 --topic test

Resultado de ejemplo:

[2020-04-11 00:03:21,157] WARN [Consumer clientId=consumer-console-consumer-88994-1, groupId=console-consumer-88994] Connection to node -1 (b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com/172.31.6.19:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2020-04-11 00:04:36,818] WARN [Consumer clientId=consumer-console-consumer-88994-1, groupId=console-consumer-88994] Connection to node -2 (b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com/172.31.44.252:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2020-04-11 00:05:53,228] WARN [Consumer clientId=consumer-console-consumer-88994-1, groupId=console-consumer-88994] Connection to node -1 (b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com/172.31.6.19:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

Para solucionar este problema, toma estas medidas:

• Asegúrate de utilizar la cadena y el puerto del agente correctos.
• Si el agente no está disponible, comprueba la métrica ActiveControllerCount de Amazon CloudWatch para comprobar que el controlador estuvo activo durante el período. Si el valor de la métrica no es 1, es posible que uno de los agentes del clúster no esté disponible.
• Comprueba la métrica ZooKeeperSessionState para confirmar que los agentes están en comunicación continua con los nodos de Apache ZooKeeper.
• Para entender por qué falló el agente, comprueba la métrica KafkaDataLogsDiskUsed para determinar si el agente se ha quedado sin espacio de almacenamiento. Para obtener más información, consulta las métricas de Amazon MSK para supervisar los agentes estándar con CloudWatch.
• Comprueba si la configuración de red causó el problema. Los recursos de Amazon MSK se aprovisionan dentro de la VPC. Debes conectarte al clúster de Amazon MSK o producir y usar los recursos desde el clúster a través de una red privada en la misma VPC. Para obtener más información, consulta No se puede acceder al clúster desde AWS: problemas de red y ¿Cómo me conecto a mi clúster de Amazon MSK desde la red de AWS pero fuera de la Amazon VPC del clúster?

El tema no está presente en los metadatos

«org.apache.kafka.common.errors.TimeoutException: La prueba de tema no está presente en los metadatos después de 60 000 ms»

Aparece el error anterior cuando el tema sobre el que intentas escribir no existe en Amazon MSK. Comprueba si el tema existe en tu clúster de Amazon MSK. Comprueba que has utilizado la cadena y el puerto del agente correctos en la configuración del cliente. Si el tema no existe, crea el tema en Amazon MSK o define auto.create.enable en true en la configuración del clúster. Cuando auto.create.enable se establece en true, los temas se crean automáticamente.

También puede aparecer este error cuando el tema existe pero la partición no. Por ejemplo, tienes una sola partición[0] y el productor intenta enviarla a la partición[1].

Asegúrate de que el grupo de seguridad del clúster de Amazon MSK permita el tráfico entrante del grupo de seguridad de la aplicación cliente en los puertos correspondientes.

Si el error se produce de repente después de que el sistema estuviera funcionando anteriormente, realiza las siguientes acciones para comprobar el estado de tus agentes de Amazon MSK:

• Comprueba la métrica ActiveControllerCount. El valor debe ser 1. Cuando la métrica tiene cualquier otro valor, uno de los agentes del clúster no está disponible.
• Comprueba la métrica ZooKeeprSessionState para confirmar que los agentes están en comunicación continua con los nodos de ZooKeeper.
• Supervisa la métricaKafkaDataLogsDiskUsed para asegurarte de que el agente no se quede sin espacio de almacenamiento.

Comprueba que no hayas intentado acceder al clúster desde fuera de la VPC sin la configuración correcta. De forma predeterminada, los recursos de Amazon MSK se aprovisionan dentro de la VPC. Debes conectarte a través de una red privada en la misma VPC.

Si intentas acceder al clúster desde fuera de la VPC, asegúrate de establecer las configuraciones de red necesarias, como AWS Client VPN o AWS Direct Connect.

Configuración incorrecta del cliente de Kafka productor o consumidor

Para resolver la configuración incorrecta de un cliente productor o consumidor de Kafka, verifica que la configuración del cliente incluya los servidores de arranque correctos. Confirma también que la configuración incluya los ajustes de seguridad necesarios y las versiones de compatibilidad de cliente Kafka y Spring Boot.

Errores específicos de la autenticación del cliente TLS

El agente Bootstrap está desconectado

«Agente Bootstrap <broker-host>:9094 (id: -<broker-id> rack: nulo) desconectado»

Es posible que recibas el error anterior cuando intentes conectarte a un clúster que tenga activada la autenticación de cliente SSL/TLS.

También puedes recibir este error cuando el productor o el consumidor intenta conectarse a un clúster cifrado con SSL/TLS a través del puerto 9094 de TLS y no pasa la configuración de SSL/TLS. Para resolver este problema, configura SSL/TLS.

En el siguiente ejemplo, se produce un error cuando el productor intenta conectarse al clúster:

./kafka-console-producer.sh --broker-list b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094,b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 --topic test[2020-04-10 18:57:58,019] WARN [Producer clientId=console-producer] Bootstrap broker b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 (id: -2 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

Resultado de ejemplo:

[2020-04-10 18:57:58,342] WARN [Producer clientId=console-producer] Bootstrap broker b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 (id: -2 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2020-04-10 18:57:58,666] WARN [Producer clientId=console-producer] Bootstrap broker b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

En el siguiente ejemplo, se produce un error cuando el consumidor intenta conectarse al clúster:

./kafka-console-consumer.sh --bootstrap-server b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094,b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 --topic test[2020-04-10 19:09:03,277] WARN [Consumer clientId=consumer-console-consumer-79102-1, groupId=console-consumer-79102] Bootstrap broker b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

Resultado de ejemplo:

[2020-04-10 19:09:03,596] WARN [Consumer clientId=consumer-console-consumer-79102-1, groupId=console-consumer-79102] Bootstrap broker b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2020-04-10 19:09:03,918] WARN [Consumer clientId=consumer-console-consumer-79102-1, groupId=console-consumer-79102] Bootstrap broker b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 (id: -2 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

Si la autenticación de clientes está activada en el clúster, debes incluir parámetros adicionales para tu AWS Private Certificate Authority. Para obtener más información, consulta Autenticación mutua de clientes TLS para Amazon MSK.

Error de acceso al almacén de claves

«ERROR No se pudo obtener la hora de modificación del almacén de claves: <configure-path-to-truststore>»

Alternativa:

«No se pudo cargar el almacén de claves»

Es posible que aparezcan los errores anteriores si configuras incorrectamente el almacén de confianza y cargas los archivos del almacén de confianza para el productor y el consumidor. Para resolver este problema, proporciona la ruta correcta del archivo del almacén de confianza en la configuración SSL/TLS.

Ejemplo de una cadena de agente consumidor incorrecta:

./kafka-console-consumer --bootstrap-server b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094,b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 --topic test --consumer.config /home/ec2-user/ssl.config

Resultado de ejemplo:

[2020-04-11 10:39:12,194] ERROR Modification time of key store could not be obtained: /home/ec2-ser/certs/kafka.client.truststore.jks (org.apache.kafka.common.security.ssl.SslEngineBuilder)
java.nio.file.NoSuchFileException: /home/ec2-ser/certs/kafka.client.truststore.jks
[2020-04-11 10:39:12,253] ERROR Unknown error when running consumer: (kafka.tools.ConsoleConsumer$)  
Caused by: org.apache.kafka.common.KafkaException: org.apache.kafka.common.KafkaException: org.apache.kafka.common.KafkaException: Failed to load SSL keystore /home/ec2-ser/certs/kafka.client.truststore.jks of type JKS

Este error también puede producirse cuando el archivo del almacén de confianza o del almacén de claves está dañado o la contraseña del archivo de almacén de confianza es incorrecta.

Error del protocolo de enlace SSL/TLS

«Error al enviar un mensaje a la prueba de tema con la clave: null, valor: 0 bytes con error (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.SslAuthenticationException: Error en el protocolo de enlace SSL»

Alternativa:

«Conexión al nodo -<broker-id> (<broker-hostname>/<broker-hostname>:9094) error de autenticación debido a: Error en el protocolo de enlace SSL (org.apache.kafka.clients.NetworkClient)»

Es posible que aparezca uno de los errores anteriores cuando hayas configurado incorrectamente el almacén de claves del productor o del consumidor y se produzca un error de autenticación. Asegúrate de configurar correctamente el almacén de claves.

Ejemplo de cadena de agente incorrecta para el almacén de claves del productor:

./kafka-console-producer --broker-list b-2.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com:9094,b-1.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com:9094,b-4.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com:9094 --topic example --producer.config/home/ec2-user/ssl.config

Resultado de ejemplo:

[2020-04-11 11:13:19,286] ERROR [Producer clientId=console-producer] Connection to node -3 (b-4.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com/172.31.6.195:9094) failed authentication due to: SSL handshake failed (org.apache.kafka.clients.NetworkClient)

Ejemplo de cadena de agente incorrecta para el almacén de claves del consumidor:

./kafka-console-consumer --bootstrap-server b-2.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com:9094,b-1.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com:9094,b-4.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com:9094 --topic example --consumer.config/home/ec2-user/ssl.config

Resultado de ejemplo:

[2020-04-11 11:14:46,958] ERROR [Consumer clientId=consumer-1, groupId=console-consumer-46876] Connection to node -1 (b-2.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com/172.31.15.140:9094) failed authentication due to: SSL handshake failed (org.apache.kafka.clients.NetworkClient)
[2020-04-11 11:14:46,961] ERROR Error processing message, terminating consumer process: (kafka.tools.ConsoleConsumer$)
org.apache.kafka.common.errors.SslAuthenticationException: SSL handshake failed

la contraseña del almacén de claves es incorrecta

 «java.io.ioException: la contraseña del almacén de claves era incorrecta»

Es posible que aparezca el error anterior si la contraseña del almacén de claves o del almacén de confianza es incorrecta.

Para solucionar este problema, ejecuta el siguiente comando para comprobar si la contraseña del almacén de claves o del almacén de confianza es correcta:

keytool -list -keystore kafka.client.keystore.jksEnter keystore password:
Keystore type: PKCS12
Keystore provider: SUN
Your keystore contains 1 entry
schema-reg, Jan 15, 2020, PrivateKeyEntry,
Certificate fingerprint (SHA1): 4A:F3:2C:6A:5D:50:87:3A:37:6C:94:5E:05:22:5A:1A:D5:8B:95:ED

Si la contraseña del almacén de claves o del almacén de confianza es incorrecta, es posible que aparezca el siguiente error:

«keytool error: java.io.IOException: la contraseña del almacén de claves era incorrecta»

Para ver el resultado detallado del comando anterior, agrega la marca -v:

keytool -list -v -keystore kafka.client.keystore.jks

También puedes ejecutar los comandos anteriores para comprobar si el almacén de claves está dañado.

También puede aparecer este error si configuras incorrectamente la clave secreta asociada al alias en la configuración SSL/TLS de productor y consumidor. Para comprobar si este es el problema, ejecuta el siguiente comando:

keytool -keypasswd -alias schema-reg -keystore kafka.client.keystore.jks

Si la contraseña del secreto del alias es correcta, se te pedirá que introduzcas una nueva contraseña para la clave secreta:

Enter keystore password:
Enter key password for <schema-reg>
New key password for <schema-reg>:
Re-enter new key password for <schema-reg>:

De lo contrario, el comando fallará y aparecerá el siguiente mensaje:

«error de keytool: java.security.UnrecoverableKeyException: Error al obtener la clave: El bloque final indicado no está debidamente rellenado. Estos problemas pueden surgir si se utiliza una clave incorrecta durante el descifrado».

Para comprobar si un alias forma parte del almacén de claves, ejecuta el siguiente comando:

keytool -list -keystore kafka.client.keystore.jks -alias schema-reg

Resultado de ejemplo:

Enter keystore password:
schema-reg, Jan 15, 2020, PrivateKeyEntry,
Certificate fingerprint (SHA1): 4A:F3:2C:6A:5D:50:87:3A:37:6C:94:5E:05:22:5A:1A:D5:8B:95:ED

Errores específicos de la autenticación de un cliente de IAM

**Error de autenticación, acceso denegado **

«La conexión al nodo -1 (b-1.testcluster.abc123.c2.kafka.us-east-1.amazonaws.com/10.11.111.123:9098) ha fallado en la autenticación debido a: Acceso denegado»

Alternativa:

«org.apache.kafka.common.errors.SaslAuthenticationException: Acceso denegado»

Aparece uno de los errores anteriores cuando las políticas de acceso, los límites de permisos y los SCP bloquean a los usuarios que no aprueban la autorización requerida.

Para resolver este problema, utiliza el control de acceso de IAM para asegurarte de que el rol de IAM pueda realizar operaciones de clúster.

SaslAuthenticationException

«org.apache.kafka.common.errors.SaslAuthenticationException: Demasiadas conexiones»

Alternativa:

«org.apache.kafka.common.errors.SaslAuthenticationException: Error interno»

Aparecen los errores anteriores cuando ejecutas el clúster en el tipo de agente kafka.t3.small con control de acceso de IAM y superas la cuota de conexión. El tipo de instancia kafka.t3.small solo acepta una conexión TCP por cada agente por segundo. Cuando superas la cuota de conexión, se produce un error en la prueba de creación. Para obtener más información, consulta Cómo funciona Amazon MSK con IAM.

Para resolver estos problemas, toma las siguientes medidas:

• En tu configuración de trabajo de Amazon MSK Connect, actualiza los valores de reconnect.backoff.ms y reconnect.backoff.max.ms a 1000 o más.
• Actualiza a un tipo de instancia de agente más grande, como kafka.m5.large. Para obtener más información, consulta Asignar el tamaño correcto al clúster: número de particiones por agente estándar.

Errores específicos de la autenticación del cliente SASL/SCRAM

El mecanismo SASL del cliente está desactivado

«La conexión al nodo -1 (b-1-testcluster.abc123.c7.kafka.us-east-1.amazonaws.com/3.11.111.123:9098) ha fallado en la autenticación debido a: El mecanismo SASL del cliente 'SCRAM-SHA-512' no está activado en el servidor; los mecanismos habilitados son [AWS_MSK_IAM]»

Alternativa:

«La conexión al nodo -1 ((b-1-testcluster.abc123.c7.kafka.us-east-1.amazonaws.com/3.11.111.123:9096) ha fallado en la autenticación debido a: El mecanismo SASL del cliente 'AWS_MSK_IAM' no está activado en el servidor; los mecanismos habilitados son [SCRAM-SHA-512]»

Aparecen los errores anteriores cuando el número de puerto no coincide con el mecanismo SASL (Simple Authentication and Security Layer, autenticación simple y capa de seguridad) del archivo de propiedades del cliente. Este es el archivo de propiedades que usa en el comando para ejecutar las operaciones de clúster.

Para comunicarte con los agentes de un clúster que utilice el mecanismo SASL/SCRAM (Simple Authentication and Security Layer/Salted Challenge Response Authentication Mechanism, autenticación simple y capa de seguridad/mecanismo de autenticación de respuesta a desafíos salados), utiliza los siguientes puertos:

• Puerto 9096 para acceder desde AWS
• Puerto 9196 para acceso público

Para comunicarte con los agentes de un clúster que utilice el control de acceso de IAM, utiliza los puertos 9098 para el acceso desde AWS y el puerto 9198 para el acceso público.

Error de autenticación de credenciales SASL

«La conexión al nodo -1 (b-3.testcluster.abc123.c2.kafka.us-east-1.amazonaws.com/10.11.111.123:9096) ha fallado en la autenticación debido a: La autenticación falló durante la autenticación debido a credenciales no válidas con el mecanismo SASL SCRAM-SHA-512»

Asegúrate de haber guardado las credenciales de usuario en AWS Secrets Manager y de asociarlas al clúster de Amazon MSK.

Al acceder al clúster a través del puerto 9096, el usuario y la contraseña de AWS Secrets Manager deben coincidir con las propiedades del cliente.

Cuando ejecutas el comando get-secret-value para recuperar los secretos, asegúrate de que la contraseña utilizada en AWS Secrets Manager no contenga ningún carácter especial.

ClusterAuthorizationException

«org.apache.kafka.common.errors.ClusterAuthorizationException: La solicitud Request(processor=11, connectionId=INTERNAL_IP-INTERNAL_IP-0, session=Session(User:ANONYMOUS,/INTERNAL_IP), listenerName=ListenerName(REPLICATION_SECURE), securityProtocol=SSL, buffer=null) no está autorizada»

Aparece el error anterior cuando se cumplen las dos condiciones siguientes:

• Has activado la autenticación SASL/SCRAM para tu clúster de Amazon MSK.
• resourceType está establecido en CLUSTER y operation está establecido en CLUSTER_ACTION en las ACL del clúster.

El clúster de Amazon MSK no admite la configuración anterior porque la configuración impide la replicación interna de Apache Kafka. Las identidades de los agentes aparecen como ANÓNIMAS para la comunicación entre agentes. Si el clúster debe admitir las ACL y usar la autenticación SASL/SCRAM, permite que el usuario ANÓNIMO utilice la operación ALL.

Ejecuta el siguiente comando para conceder la operación ALL al usuario ANÓNIMO:

./kafka-acls.sh --authorizer-propertieszookeeper.connect=example-ZookeeperConnectString --add --allow-principal User:ANONYMOUS --operation ALL --cluster

Información relacionada

Conexión a un clúster aprovisionado de Amazon MSK

¿Cómo soluciono los problemas habituales al utilizar mi clúster de Amazon MSK con la autenticación SASL/SCRAM?