Come posso distribuire EventBridge Pipes con Amazon MSK?

Risoluzione

**Nota:**Per ulteriori informazioni su Amazon MSK e sulla creazione di un cluster, consulta Inizia a usare Amazon MSK.

Prerequisiti

• Autenticazione del cluster MSK: EventBridge deve disporre dell'autorizzazione per accedere al cluster MSK, recuperare i record ed eseguire altre attività.
• Configurazione di rete: EventBridge deve avere accesso alle risorse di Amazon Virtual Private Cloud (Amazon VPC) associate al cluster MSK.
• Autorizzazioni per i ruoli di esecuzione di Amazon MSK: EventBridge deve essere autorizzato per gestire le risorse correlate al topic MSK.

Distribuisci EventBridge Pipes con Amazon MSK

Completa i seguenti passaggi:

1. Accedi alla console EventBridge nella corrispondente Regione AWS.
2. Nel pannello di navigazione, scegli Pipe.
3. Scegli Crea pipe.
4. Inserisci un nome per la pipe.
5. (Facoltativo) Inserisci una descrizione per la pipe.

Seleziona Amazon MSK come origine per la pipe

Completa i seguenti passaggi:

1. Per Seleziona origine, scegli Amazon MSK.
2. Scegli il cluster Amazon MSK che hai creato in precedenza.
3. Inserisci il nome del topic Apache Kafka utilizzato per memorizzare i record nel cluster Apache Kafka.
4. (Facoltativo) Fornisci l'ID di un gruppo di consumatori Apache Kafka a cui aderire. Per ulteriori informazioni, consulta l'argomento Topic di Streaming gestito da Amazon per Apache Kafka come origine in EventBridge Pipes.
5. (Facoltativo) Scegli il metodo di autenticazione e la chiave segreta.

Applica impostazioni aggiuntive

Completa i seguenti passaggi:

1. (Facoltativo) Configura Dimensione del batch e Finestra batch.
2. Configura Posizione di partenza.
   Nota: per la posizione di partenza, l'impostazione predefinita Più recente. Se necessario, passa a Orizzonte di taglio. Orizzonte di taglio ha lo stesso effetto di Primo per Apache Kafka.
3. (Facoltativo) Applica le impostazioni per Filtraggio e Arricchimento.
4. Scegli la destinazione dall'elenco Servizio di destinazione.
5. (Facoltativo) Definisci un trasformatore di input.
6. Verifica che la configurazione della pipe sia corretta. Quindi scegli Crea pipe.

Quando la pipe passa allo stato In esecuzione, EventBridge esegue internamente il polling dei nuovi messaggi dall'origine. Quindi invoca la destinazione in modo sincrono.

Nota: il payload dell'evento contiene una serie di messaggi. Ogni elemento contiene dettagli sul topic MSK e sull'identificatore di partizione MSK, insieme a un timestamp e un messaggio codificato in base64.

Di seguito è riportato un esempio di evento MSK:

[  {
    "eventSource": "aws:kafka",
    "eventSourceArn": "arn:aws:kafka:sa-east-1:123456789012:cluster/vpc-2priv-2pub/751d2973-a626-431c-9d4e-d7975eb44dd7-2",
    "eventSourceKey": "mytopic-0",
    "topic": "mytopic",
    "partition": "0",
    "offset": 15,
    "timestamp": 1545084650987,
    "timestampType": "CREATE_TIME",
    "key": "abcDEFghiJKLmnoPQRstuVWXyz1234==",
    "value": "SGVsbG8sIHRoaXMgaXMgYSB0ZXN0Lg==",
    "headers": [
      {
        "headerKey": [
          104,
          101,
          97,
          100,
          101,
          114,
          86,
          97,
          108,
          117,
          101
        ]
      }
    ]
  }
]

Risolvi gli errori relativi alle invocazioni

Utilizza le metriche di Amazon CloudWatch tramite la console CloudWatch nella Regione corrispondente alla pipe per isolare i problemi di attivazione, invocazione o limitazione (della larghezza di banda della rete).

Quando crei, elimini e aggiorni pipe, l'operazione potrebbe causare uno stato di errore. Per ulteriori informazioni, consulta Stati di errore delle pipe.

Quando invochi una pipe, possono verificarsi due tipi principali di errori: errori interni della pipe o errori di invocazione del cliente.

Un errore interno della pipe potrebbe verificarsi se una connessione HTTP ha esito negativo quando tenta di invocare il servizio di destinazione del cliente, oppure se si verifica un calo temporaneo della disponibilità del servizio della pipe.

Un errore di invocazione del cliente potrebbe verificarsi se la pipe non ha autorizzazioni sufficienti per invocare la destinazione, oppure se sono presenti errori logici nell'endpoint AWS Lambda, AWS Step Functions, destinazione API o Gateway Amazon API del cliente invocato in modo sincrono. Per ulteriori informazioni, consulta Autorizzazioni relative all'origine degli eventi per Amazon EventBridge Pipes.

EventBridge Pipes non supporta l'elaborazione multi-account di un Amazon MQ Broker da un account diverso. Per ulteriori informazioni, consulta Gestione e risoluzione degli errori di Amazon EventBridge Pipes.

Informazioni correlate

Creazione di una pipe Amazon EventBridge