Come posso risolvere gli errori che ricevo quando utilizzo Amazon MSK Connect per creare un connettore?

Risoluzione

Errore "Last operation failed"

Quando MSK Connect non riesce a creare il connettore e il connettore passa allo stato Non riuscito, ricevi il seguente messaggio di errore:

"There is an issue with the connector Code: UnknownError.UnknownMessage: The last operation failed. Retry the operation."

Per individuare la causa dell'errore, esamina gli eventi dei log di MSK Connect.

Errore "Required field is missing"

Se utilizzi un carattere di ritorno a capo (/r) alla fine di una configurazione, visualizzi il seguente messaggio di errore:

"Invalid parameter connectorConfiguration: The following required field is missing or has invalid value: tasks.max"

Per risolvere il problema, intraprendi le seguenti azioni:

• Inserisci manualmente le informazioni di configurazione nella finestra di dialogo per la configurazione del connettore. Non copiare e incollare le informazioni di configurazione da un'altra fonte.
• Per i sistemi operativi Windows, utilizza un editor di testo per rimuovere i caratteri di ritorno a capo e nuova riga (CRLF) e i caratteri di fine riga (EOL). Per rimuovere il ritorno a capo, copia e incolla la configurazione in un editor di testo. Nell'editor di testo, scegli Visualizza e seleziona Mostra simbolo. Quindi scegli Mostra tutti i caratteri. Sostituisci tutti i caratteri CRLF \r\n con caratteri LF \n.

Errore "Invalid parameter"

Quando utilizzi il ruolo collegato al servizio MSK Connect per creare un connettore, ricevi il seguente messaggio di errore:

"Invalid parameter serviceExecutionRoleArn: A service linked role ARN cannot be provided as service execution role ARN."

Non puoi utilizzare il ruolo collegato al servizio AWSServiceRoleForKafkaConnect come ruolo di esecuzione del servizio. Devi invece creare un ruolo di servizio distinto. Specifica il ruolo con cui vuoi utilizzare il connettore.

Errore "Failed to find any class that implements Connector"

Ricevi il seguente messaggio di errore:

"org.apache.kafka.connect.errors.ConnectException: Failed to find any class that implements Connector and which name matches..."

Per risolvere il problema, intraprendi le seguenti azioni:

• Rimuovi i caratteri CRLF presenti nella configurazione del connettore.
• Se il plugin del connettore richiede più file, includi i file nel file compresso. Anche i file JAR nel file compresso devono avere la struttura di file prevista per il plugin. È consigliabile attivare i log per MSK Connect ed esaminarli per confermare che la struttura dei file sia corretta.

Errore "TimeOutException"

Se il connettore non riesce a raggiungere il cluster MSK, ricevi il seguente messaggio di errore:

"org.apache.kafka.common.errors.TimeoutException: Timed out waiting to send the call. Call: fetchMetadata"

Per risolvere il problema, intraprendi le seguenti azioni:

• Verifica se i server di bootstrap specificati nelle proprietà, incluso il numero di porta, sono validi e accurati.
• Assicurati che il gruppo di sicurezza per il cluster consenta il traffico in entrata dal gruppo di sicurezza del client associato a MSK Connect. Se utilizzi un cluster MSK, aggiungi una regola che consenta il traffico in entrata dal cluster. Per ulteriori informazioni, consulta Regole del gruppo di sicurezza.

Errore "SaslAuthenticationException"

Se il cluster MSK viene eseguito su un tipo di broker kafka.t3.small con controllo degli accessi AWS Identity and Access Management (AWS IAM), rivedi la quota di connessioni. Il tipo di istanza kafka.t3.small accetta solo una connessione TCP per broker al secondo.

Quando superi la quota di connessioni, il test di creazione ha esito negativo e ricevi il seguente messaggio di errore:

"org.apache.kafka.common.errors.SaslAuthenticationException: Too many connects"

Per ulteriori informazioni sui cluster MSK e sul controllo degli accessi IAM, consulta Funzionamento di Amazon MSK con IAM.

Per risolvere l'errore "SaslAuthenticationException", esegui una di queste operazioni:

• Nella configurazione del worker di MSK Connect, aggiorna i valori per reconnect.backoff.ms e reconnect.backoff.max.ms impostandoli su 1.000 o più.
• Passa a un tipo di istanza del broker più grande, ad esempio kafka.m5.large o superiore. Per ulteriori informazioni, consulta Tipi di broker Amazon MSK e Best practice per i broker standard.

Errore "Unable to connect to S3"

Quando il connettore non riesce a connettersi ad Amazon Simple Storage Service (Amazon S3), ricevi il seguente messaggio di errore:

"org.apache.kafka.connect.errors.ConnectException: com.amazonaws.SdkClientException: Unable to execute HTTP request: Connect to s3.us-east-1.amazonaws.com:443 failed: connect timed out"

Per risolvere il problema, devi creare un endpoint Amazon Virtual Private Cloud (Amazon VPC) dal VPC del cluster ad Amazon S3.

Completa i seguenti passaggi:

1. Apri la console Amazon VPC.
2. Nel pannello di navigazione, scegli Endpoint.
3. Scegli Crea endpoint.
4. Per Tipo, seleziona Servizi AWS.
5. In Servizi, scegli il filtro Nome servizio, quindi seleziona com.amazonaws.region.s3.
   Nota: sostituisci region con la tua Regione AWS.
6. Scegli il filtro Tipo, quindi seleziona Gateway.
7. Per VPC, seleziona il VPC del cluster.
8. Per Tabelle di routing, seleziona la tabella di routing associata alle sottoreti del cluster.
9. Scegli Crea endpoint.

Errore "Unable to execute HTTP request" per Firehose

Quando il connettore non riesce a connettersi ad Amazon Data Firehose, ricevi il seguente messaggio di errore:

"org.apache.kafka.connect.errors.ConnectException: com.amazonaws.SdkClientException: Unable to execute HTTP request: Connect to firehose.us-east-2.amazonaws.com:443 failed: connect timed out"

Per risolvere il problema, segui i passaggi nella sezione precedente per creare un endpoint VPC dal VPC del cluster ad Amazon Data Firehose. Utilizza il filtro Nome servizio com.amazonaws.region.kinesis-firehose.

Errore "Access denied"

Quando l'utente IAM per MSK Connect non ha le autorizzazioni necessarie per creare un connettore, ricevi il seguente messaggio di errore:

"Connection to node - 1 (b1.<cluster>.<region>.amazonaws.com) failed authentication due to : Access Denied"

Quando crei un connettore con MSK Connect, devi specificare un ruolo IAM da utilizzare con il connettore. Il ruolo di esecuzione del servizio deve avere la seguente policy di attendibilità in modo che MSK Connect possa assumere il ruolo:

{    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Principal": {
            "Service": "kafkaconnect.amazonaws.com"
        },
        "Action": "sts:AssumeRole",
        "Condition": {
            "StringEquals": {
                "aws:SourceAccount": "Account-ID"
            },
            "ArnLike": {
                "aws:SourceArn": "MSK-Connector-ARN"
            }
        }
    }]
}

Se il cluster MSK che desideri utilizzare con il connettore utilizza l'autenticazione IAM, devi aggiungere la seguente policy di autorizzazione al ruolo di esecuzione del servizio del connettore:

{    "Version": "2012-10-17",
    "Statement": [{
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:Connect",
                "kafka-cluster:DescribeCluster"
            ],
            "Resource": [
                "cluster-arn"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:ReadData",
                "kafka-cluster:DescribeTopic"
            ],
            "Resource": [
                "ARN of the topic that you want a sink connector to read from"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:WriteData",
                "kafka-cluster:DescribeTopic"
            ],
            "Resource": [
                "ARN of the topic that you want a source connector to write to"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:CreateTopic",
                "kafka-cluster:WriteData",
                "kafka-cluster:ReadData",
                "kafka-cluster:DescribeTopic"
            ],
            "Resource": [
                "arn:aws:kafka:region:account-id:topic/cluster-name/cluster-uuid/__amazon_msk_connect_*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:AlterGroup",
                "kafka-cluster:DescribeGroup"
            ],
            "Resource": [
                "arn:aws:kafka:region:account-id:group/cluster-name/cluster-uuid/__amazon_msk_connect_*",
                "arn:aws:kafka:region:account-id:group/cluster-name/cluster-uuid/connect-*"
            ]
        }
    ]
}

Per ulteriori informazioni, consulta Risorse relative alla policy di autorizzazione.

Errore "Failed to find AWS IAM Credentials"

Quando il ruolo IAM utilizzato per creare il connettore non ha le autorizzazioni richieste, ricevi il seguente messaggio di errore:

"ERROR Connection to node -3 (b-1.<cluster>.<region>.amazonaws.com/INTERNAL_IP) autenticazione non riuscita a causa di: un errore: (java.security .PrivilegedActionException: javax.security .sasl.SaslException: Failed to find AWS IAM Credentials [Caused by aws_msk_iam_auth_shadow.com.amazonaws.SdkClientException: Unable to load AWS credentials from any ...........Unable to load AWS credentials from environment variables (AWS_ACCESS_KEY_ID (or AWS_ACCESS_KEY) and AWS_SECRET_KEY (or AWS_SECRET_ACCESS_KEY))"

Per risolvere il problema, rivedi le policy di accesso e la relazione di attendibilità del ruolo IAM per il connettore. Per ulteriori informazioni, consulta Comprendi il ruolo di esecuzione del servizio.

Informazioni correlate

Come posso connettermi al cluster Amazon MSK utilizzando il connettore Kafka-Kinesis?

Comprendi MSK Connect

Risolvi i problemi del tuo cluster Amazon MSK