MSK Cluster connection failed with SASL authentication error for internal Kafka Users

Hi,

I have an MSK cluster with SASL/SCRAM enabled and created appropriate Super User for cluster with Secret to manage further users in cluster. If I create new users for example with Sarama client using this superuser as admin client, they appear in zookeeper config and kafka-configs, but connection for such users is failed with - Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAM-SHA-512.

Can such internal Kafka users have access to MSK cluster with some additional configuration or every further user in MSK with SASL/SCRAM should have separate "Amazon_MSK_" prefixed secret and managed via KMS?

Ed Berezitsky
hace 2 años
Error points to failed authentication. I think the user hasn't been created properly, or a client application doesn't define properties correctly. Please add more details, make sure the secret you are using is listed under MSK -https://docs.aws.amazon.com/cli/latest/reference/kafka/list-scram-secrets.html . Follow the documentation to properly define a new user for MSK: https://docs.aws.amazon.com/msk/latest/developerguide/msk-password.html
FilatovM
hace 2 años
Let me clarify, I used only Kafka API and created user (No MSK secrets). In vanilla Kafka it works (all users are stored in ZK config), but in AWS such users fail authentication.

Can I use AWS admin user to create other users via default Kafka API? Or such users are not considered as valid credentials to connect MSK?

Temas: Análisis Seguridad, identidad y cumplimiento
Etiquetas: AWS Identity and Access Management Amazon Managed Streaming for Apache Kafka (Amazon MSK)
Idioma: English

FilatovM

preguntada hace 2 años889 visualizaciones

1 Respuesta

Más nuevo
Más votos
Más comentarios

¿Son útiles estas respuestas? Vote a favor de la respuesta correcta para ayudar a la comunidad a beneficiarse de sus conocimientos.

MSK supports SASL SCRAM with the users defined in AWS Secrets Manager ONLY. Please follow the documentation on how to create and associate a user with MSK. After that, use Kafka ACLs to manage permissions for that users.

Ed Berezitsky

respondido hace 2 años

Contenido relevante

No permite crear crawlers
nn
preguntada hace un año
Usuario root no puede crear Glue Crawlers - AccessDeniedException a nivel de cuenta
nn
preguntada hace un año
Inbound Connection Timeout on Port 80 to EC2 Instance (All Software Fails)
Respuesta aceptada
Mau
preguntada hace un año
Activos y puertas de enlace
User-5053130
preguntada hace 9 meses
¿Cómo soluciono los errores cuando uso la autenticación de cliente de IAM o SASL/SCRAM para conectarme a mi clúster de Amazon MSK?
OFICIAL DE AWSActualizada hace 8 meses
¿Cómo soluciono los problemas de autenticación y permisos cuando uso mi clúster de Amazon MSK con la autenticación SASL/SCRAM activada?
OFICIAL DE AWSActualizada hace un año
¿Cómo soluciono los errores cuando uso la autenticación de cliente TLS para conectarme a mi clúster de Amazon MSK?
OFICIAL DE AWSActualizada hace 6 meses
¿Cómo soluciono los errores de conexión de mi clúster de Amazon MSK?
OFICIAL DE AWSActualizada hace 7 meses
¿Cómo puedo cobrar a los bots y agentes de IA por el acceso a mi contenido usando la monetización de tráfico de IA de AWS WAF?
INGENIERO DE SOPORTE
Rodrigo Reyes
publicado hace 2 meses
Entendiendo Amazon VPC Regional NAT Gateway
INGENIERO DE SOPORTE
Rodrigo Reyes
publicado hace 3 meses

MSK Cluster connection failed with SASL authentication error for internal Kafka Users

Añade tu respuesta

Contenido relevante