New user sign up using AWS Builder ID
New user sign up using AWS Builder ID is currently unavailable on re:Post. To sign up, please use the AWS Management Console instead.
Come posso risolvere un processo AWS Glue multi-account per un cluster Amazon MSK?
Desidero risolvere un processo AWS Glue non riuscito che si connette a un cluster Amazon Managed Streaming per Apache Kafka (MSK) tra account AWS.
Risoluzione
Verifica che il processo AWS Glue possa connettersi al cluster Amazon MSK, quindi risolvi i problemi relativi al metodo di autenticazione del processo AWS Glue.
Verifica la connettività del processo AWS Glue multi-account
Per verificare che il processo AWS Glue possa connettersi al cluster Amazon MSK, completa i seguenti passaggi:
- Verifica che la lista di controllo degli accessi alla rete (ACL di rete) della connessione AWS Glue consenta il traffico verso il cluster Amazon MSK nel cloud privato virtuale Amazon (Amazon VPC) multi-account.
- Verifica che il gruppo di sicurezza del cluster Amazon MSK consenta il CIDR della sottorete della connessione AWS Glue sulle porte del server bootstrap del cluster Amazon MSK.
Nota: i gruppi di sicurezza della connessione AWS Glue devono contenere una regola in entrata autoreferenziale per le porte TCP necessarie. - Verifica di aver configurato correttamente le connessioni peering VPC tra il cluster Amazon MSK e i VPC o le sottoreti della connessione AWS Glue.
- Utilizza Reachability Analyzer per verificare se un componente interferisce con la connettività tra i VPC.
- Avvia un'istanza Amazon Elastic Compute Cloud (Amazon EC2) nella stessa sottorete e nello stesso gruppo di sicurezza utilizzati dalla connessione AWS Glue.
Utilizza Session Manager, una funzionalità di AWS Systems Manager, o un client SSH per accedere alla tua istanza EC2. Quindi esegui la seguente query:
telnet example-bootstrap-server-hostname example-bootstrap-server-port nc -zv example-bootstrap-server-hostname example-bootstrap-server-port dig example-bootstrap-server-hostname
Nota: nei comandi precedenti, sostituisci i valori riportati a titolo di esempio con i tuoi valori. Se telnet non è installato, esegui sudo yum install telnet -y per installarlo.
Se l'output include connected o connections established, la connettività del processo AWS Glue è verificata.
Risolvi i problemi di autenticazione
Per verificare l'URL del server bootstrap nella connessione AWS Glue, completa i seguenti passaggi:
- Ottieni i broker bootstrap da Amazon MSK.
- Apri la console AWS Glue.
- Nel pannello di navigazione, in Catalogo dati, scegli Connessioni. Nel pannello di navigazione puoi anche scegliere Data connections (Connessioni dati).
- In Connessioni, seleziona la tua connessione, quindi scegli Operazioni.
- Nell'elenco a discesa, scegli Modifica.
- In Accesso alla connessione, verifica che gli URL del server bootstrap Kafka corrispondano agli URL nella console Amazon MSK.
- Se gli URL non corrispondono, aggiornali in base al metodo di autenticazione utilizzato dal cluster Amazon MSK. Utilizza i numeri di porta che corrispondono alla configurazione del tuo broker:
Per TLS/SSL, utilizza la porta 9094 per l'accesso all'interno di AWS e la porta 9194 per l'accesso pubblico.
Per SASL/SCRAM, utilizza la porta 9096 per l'accesso all'interno di AWS e la porta 9196 per l'accesso pubblico. - Scegli Salva modifiche.
Quindi esegui le seguenti azioni in base al metodo di autenticazione del cluster Amazon MSK.
SASL/SCRAM-SHA-512
Utilizza AWS Secrets Manager per verificare nome utente e password. Se utilizzi Secrets Manager per archiviare le tue credenziali, verifica che la sottorete della connessione AWS Glue possa raggiungere l'endpoint del tuo Secret Manager.
Autenticazione di client TLS/SSL
Per convalidare il certificato del keystore e la password del keystore o la password della chiave del client Kafka, esegui il seguente comando:
keytool -list -v -keystore /pathtocert/kafka.client.keystore.jks -storepass 123456
Verifica che l'output contenga il certificato dell’autorità di certificazione privata AWS (CA privata AWS) utilizzato dal cluster Amazon MSK.
Se l'output non contiene il certificato, completa i passaggi 5-11 riportati in Configura un client per utilizzare l'autenticazione per creare nuovi keystore.
Importante: crea nuovi keystore per ogni client con lo stesso certificato privato utilizzato dal cluster Amazon MSK.
Carica il certificato kafka.client.keystore.jks su Amazon Simple Storage Service (Amazon S3). Quindi configura la tua connessione AWS Glue Kafka con il percorso S3 del certificato.
Autenticazione IAM
Verifica che il ruolo AWS Identity and Access Management (IAM) del processo AWS Glue abbia la policy di autorizzazione corretta per il cluster Amazon MSK.
Informazioni correlate
Contenuto pertinente
- AWS UFFICIALEAggiornata un mese fa
- AWS UFFICIALEAggiornata 3 mesi fa
- AWS UFFICIALEAggiornata 4 mesi fa
- AWS UFFICIALEAggiornata 3 anni fa