Help us improve the AWS re:Post Knowledge Center by sharing your feedback in a brief survey. Your input can influence how we create and update our content to better support your AWS journey.
Comment résoudre les erreurs qui s’affichent lorsque j'utilise Amazon MSK Connect pour créer un connecteur ?
Lorsque j'utilise Amazon Managed Streaming pour Apache Kafka (Amazon MSK) Connect pour créer un connecteur, un message d'erreur s’affiche.
Résolution
Erreur « Last operation failed »
Lorsque MSK Connect ne parvient pas à créer le connecteur et que celui-ci passe à l'état Échec, le message d'erreur suivant s'affiche :
« There is an issue with the connector Code: UnknownError.UnknownMessage: The last operation failed. Retry the operation. »
Pour trouver la cause de l'échec, consultez les événements de journaux de MSK Connect.
Erreur « Required field is missing »
Si vous utilisez un retour chariot (/r) à la fin d'une configuration, l'erreur suivante s’affiche :
« Invalid parameter connectorConfiguration: The following required field is missing or has invalid value: tasks.max »
Pour résoudre ce problème, procédez comme suit :
- Saisissez manuellement les informations de configuration dans la boîte de dialogue de configuration du connecteur. Ne copiez et ne collez pas les informations de configuration provenant d'une autre source.
- Pour les systèmes d'exploitation Windows, utilisez un éditeur de texte pour supprimer les caractères de retour chariot et retour à la ligne (CRLF) ainsi que les caractères de fin de ligne (EOL). Pour supprimer le retour chariot, copiez et collez la configuration dans un éditeur de texte. Dans votre éditeur de texte, sélectionnez Afficher, puis Afficher le symbole. Puis, sélectionnez Afficher tous les caractères. Remplacez tous les caractères CRLF, \r\n, par des caractères LF, \n.
Erreur « Invalid parameter »
Lorsque vous utilisez le rôle lié au service MSK Connect pour créer un connecteur, le message d'erreur suivant s'affiche :
« Invalid parameter serviceExecutionRoleArn: Un ARN de rôle lié à un service ne peut pas être fourni en tant qu'ARN de rôle d'exécution de service. »
Vous ne pouvez pas utiliser le rôle lié à un service AWSServiceRoleForKafkaConnect comme rôle d'exécution du service. À la place, vous devez créer un rôle de service distinct. Puis, spécifiez le rôle que le connecteur doit utiliser.
Erreur « Failed to find any class that implements Connector »
Le message d’erreur suivant s’affiche :
« org.apache.kafka.connect.errors.ConnectException: Failed to find any class that implements Connector and which name matches... »
Pour résoudre ce problème, procédez comme suit :
- Supprimez les caractères CRLF présents dans la configuration du connecteur.
- Si le plug-in du connecteur requiert plusieurs fichiers, incluez les fichiers dans votre fichier compressé. Les fichiers JAR du fichier compressé doivent également présenter la structure de fichier attendue documentée pour ce plug-in. Il est recommandé d'activer les journaux pour MSK Connect et de les consulter pour vérifier que la structure des fichiers est correctement définie.
Erreur « TimeOutException »
Si le connecteur ne parvient pas à atteindre votre cluster MSK, le message d'erreur suivant s'affiche :
« org.apache.kafka.common.errors.TimeoutException: Timed out waiting to send the call. Call: fetchMetadata »
Pour résoudre le message d'erreur précédent, procédez comme suit :
- Vérifiez si les serveurs Bootstrap que vous avez spécifiés dans les propriétés, y compris le numéro de port, sont valides et exacts.
- Assurez-vous que le groupe de sécurité de votre cluster autorise le trafic entrant en provenance du groupe de sécurité du client associé à MSK Connect. Si vous utilisez un cluster MSK, ajoutez une règle qui autorise le trafic entrant depuis le cluster. Pour en savoir plus, consultez la section Règles des groupes de sécurité.
Erreur « SaslAuthenticationException »
Si votre cluster MSK s'exécute sur un type d’agent kafka.t3.small avec le contrôle d'accès à Gestion des identités et des accès AWS (AWS IAM), vérifiez votre quota de connexion. Le type d’instance kafka.t3.small n’accepte qu’une seule connexion TCP par agent et par seconde.
Lorsque vous dépassez votre quota de connexion, votre test de création échoue et le message d'erreur suivant s'affiche :
« org.apache.kafka.common.errors.SaslAuthenticationException: Too many connects »
Pour plus d'informations sur les clusters MSK et le contrôle d'accès IAM, consultez la section Fonctionnement d’Amazon MSK avec IAM.
Pour résoudre l'erreur « SaslAuthenticationException », effectuez l'une des actions suivantes :
- Dans votre configuration de serveur de travail Amazon MSK Connect, mettez à jour les valeurs des champs reconnect.backoff.ms et reconnect.backoff.max.ms à 1000 ou plus.
- Effectuez une mise à niveau vers un type d’instance d’agent plus important, tel que kafka.m5.large ou version ultérieure. Pour plus d'informations, consultez les sections Types d’agents Amazon MSK et Bonnes pratiques pour les agents standard.
Erreur « Unable to connect to S3 »
Lorsque le connecteur ne parvient pas à se connecter à Amazon Simple Storage Service (Amazon S3), le message d'erreur suivant s'affiche :
« org.apache.kafka.connect.errors.ConnectException: com.amazonaws.SdkClientException: Unable to execute HTTP request: Connect to s3.us-east-1.amazonaws.com:443 failed: connect timed out »
Pour résoudre ce problème, vous devez créer un point de terminaison Amazon Virtual Private Cloud (Amazon VPC) entre le VPC du cluster et Amazon S3.
Procédez comme suit :
- Ouvrez la console Amazon VPC.
- Dans le volet de navigation, sélectionnez Points de terminaison.
- Sélectionnez Créer un point de terminaison.
- Dans Type, sélectionnez Services AWS.
- Sous Services, choisissez le filtre Nom du service, puis sélectionnez com.amazonaws.region.s3.
Remarque : Remplacez region par votre région AWS. - Choisissez le filtre Type, puis sélectionnez Passerelle.
- Pour VPC, sélectionnez le VPC du cluster.
- Sous Tables de routage, sélectionnez la table de routage associée aux sous-réseaux du cluster.
- Sélectionnez Créer un point de terminaison.
Erreur « Unable to execute HTTP request » pour Firehose
Lorsque le connecteur ne parvient pas à se connecter à Amazon Data Firehose, le message d'erreur suivant s'affiche :
« org.apache.kafka.connect.errors.ConnectException: com.amazonaws.SdkClientException: Unable to execute HTTP request: Connect to firehose.us-east-2.amazonaws.com:443 failed: connect timed out »
Pour résoudre ce problème, suivez les étapes de la section précédente pour créer un point de terminaison de VPC depuis le VPC du cluster vers Amazon Data Firehose. Utilisez le filtre de nom de service com.amazonaws.region.kinesis-firehose.
Erreur « Access denied »
Lorsque l'utilisateur IAM de MSK Connect ne dispose pas des autorisations requises pour créer un connecteur, le message d'erreur suivant s'affiche :
« Connection to node - 1 (b1.<cluster>.<region>.amazonaws.com) failed authentication due to : Access Denied »
Lorsque vous créez un connecteur avec MSK Connect, vous devez spécifier un rôle IAM à utiliser avec ce connecteur. Votre rôle d'exécution du service doit respecter la politique d’approbation suivante pour que MSK Connect puisse endosser le rôle :
{ "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Principal": { "Service": "kafkaconnect.amazonaws.com" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "aws:SourceAccount": "Account-ID" }, "ArnLike": { "aws:SourceArn": "MSK-Connector-ARN" } } }] }
Si le cluster MSK que vous souhaitez utiliser avec votre connecteur utilise l'authentification IAM, vous devez ajouter la politique d'autorisations suivante au rôle d'exécution du service du connecteur :
{ "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Action": [ "kafka-cluster:Connect", "kafka-cluster:DescribeCluster" ], "Resource": [ "cluster-arn" ] }, { "Effect": "Allow", "Action": [ "kafka-cluster:ReadData", "kafka-cluster:DescribeTopic" ], "Resource": [ "ARN of the topic that you want a sink connector to read from" ] }, { "Effect": "Allow", "Action": [ "kafka-cluster:WriteData", "kafka-cluster:DescribeTopic" ], "Resource": [ "ARN of the topic that you want a source connector to write to" ] }, { "Effect": "Allow", "Action": [ "kafka-cluster:CreateTopic", "kafka-cluster:WriteData", "kafka-cluster:ReadData", "kafka-cluster:DescribeTopic" ], "Resource": [ "arn:aws:kafka:region:account-id:topic/cluster-name/cluster-uuid/__amazon_msk_connect_*" ] }, { "Effect": "Allow", "Action": [ "kafka-cluster:AlterGroup", "kafka-cluster:DescribeGroup" ], "Resource": [ "arn:aws:kafka:region:account-id:group/cluster-name/cluster-uuid/__amazon_msk_connect_*", "arn:aws:kafka:region:account-id:group/cluster-name/cluster-uuid/connect-*" ] } ] }
Pour plus d'informations, consultez la section Ressources de la politique d'autorisation.
Erreur « Failed to find AWS IAM Credentials »
Lorsque le rôle IAM que vous avez utilisé pour créer le connecteur ne dispose pas des autorisations requises, le message d'erreur suivant s'affiche :
« ERROR Connection to node -3 (b-1.<cluster>.<region>L'authentification .amazonaws.com/INTERNAL_IP) a échoué pour les raisons suivantes : Une erreur : (java.security .PrivilegedActionException: javax.security .sasl.SaslException: Failed to find AWS IAM Credentials [Caused by aws_msk_iam_auth_shadow.com.amazonaws.SdkClientException: Unable to load AWS credentials from any ...........Unable to load AWS credentials from environment variables (AWS_ACCESS_KEY_ID (or AWS_ACCESS_KEY) and AWS_SECRET_KEY (or AWS_SECRET_ACCESS_KEY)) »
Pour résoudre le message d'erreur précédent, examinez les politiques d'accès et la relation d’approbation du rôle IAM pour le connecteur. Pour plus d'informations, consultez la section Comprendre le rôle d'exécution du service.
Informations connexes
Comment utiliser le connecteur Kafka-Kinesis-Connector pour me connecter à mon cluster Amazon MSK ?
- Sujets
- Analytics
- Langue
- Français
Contenus pertinents
- demandé il y a un an
- demandé il y a 2 ans