Wie stelle ich EventBridge-Pipes mit Amazon MSK bereit?

Behebung

Hinweis: Weitere Informationen zu Amazon MSK und zum Erstellen eines Clusters findest du unter Erste Schritte mit Amazon MSK.

Voraussetzungen

• MSK Cluster-Authentifizierung: EventBridge muss berechtigt sein, auf den MSK-Cluster zuzugreifen, Datensätze abzurufen und andere Aufgaben auszuführen.
• Netzwerkkonfiguration: EventBridge muss Zugriff auf die Amazon Virtual Private Cloud (Amazon VPC)-Ressourcen haben, die dem MSK-Cluster zugeordnet sind.
• Berechtigungen für Amazon MSK-Ausführungsrollen: EventBridge benötigt Berechtigungen, um Ressourcen zu verwalten, die sich auf das MSK-Thema beziehen.

EventBridge-Pipes mit Amazon MSK bereitstellen

Führe die folgenden Schritte aus:

1. Navigiere zur EventBridge-Konsole in der jeweiligen AWS-Region.
2. Wähle im Navigationsbereich Pipes.
3. Wähle Pipe erstellen.
4. Gib einen Namen für die Pipe ein.
5. (Optional) Gib eine Beschreibung für die Pipe ein.

Wähle „Amazon MSK“ als Quelle für die Pipe

Führe die folgenden Schritte aus:

1. Wähle für Quelle auswählen die Option Amazon MSK.
2. Wähle den Amazon MSK-Cluster, den du zuvor erstellt hast.
3. Gib den Namen des Apache Kafka-Themas ein, das zum Speichern von Datensätzen im Apache Kafka-Cluster verwendet wird.
4. (Optional) Gib die ID einer Apache Kafka-Benutzergruppe an, der du beitreten möchtest. Weitere Informationen findest du im Thema Amazon Managed Streaming für Apache Kafka als Quelle in EventBridge-Pipes.
5. (Optional) Wähle die Authentifizierungsmethode und den geheimen Schlüssel.

Zusätzliche Einstellungen anwenden

Führe die folgenden Schritte aus:

1. (Optional) Konfiguriere die Batch-Größe und das Batch-Fenster.
2. Konfiguriere die Startposition.
   Hinweis: Für die Startposition ist die neueste Einstellung die Standardeinstellung. Wechsele bei Bedarf zu Horizont trimmen. **Horizont trimmen ** ist dasselbe wie Frühestens für Apache Kafka.
3. (Optional) Wende die Einstellungen für Filtern und **Bereicherung ** an.
4. Wähle das Ziel aus der Liste Ziel-Service.
5. (Optional) Definiere einen Input-Transformator.
6. Vergewissere dich, dass die Pipe-Konfiguration korrekt ist. Wähle dann Pipe erstellen.

Wenn die Pipe in den Status Wird ausgeführt übergeht, fragt EventBridge intern nach neuen Nachrichten von der Quelle. Dann ruft es synchron das Ziel auf.

Hinweis: Die Nutzdaten des Ereignisses enthalten eine Reihe von Nachrichten. Jedes Element enthält Details zum MSK-Thema und zur MSK-Partitions-ID sowie einen Zeitstempel und eine Base64-kodierte Nachricht.

Das Folgende ist ein Beispiel für ein MSK-Ereignis:

[  {
    "eventSource": "aws:kafka",
    "eventSourceArn": "arn:aws:kafka:sa-east-1:123456789012:cluster/vpc-2priv-2pub/751d2973-a626-431c-9d4e-d7975eb44dd7-2",
    "eventSourceKey": "mytopic-0",
    "topic": "mytopic",
    "partition": "0",
    "offset": 15,
    "timestamp": 1545084650987,
    "timestampType": "CREATE_TIME",
    "key": "abcDEFghiJKLmnoPQRstuVWXyz1234==",
    "value": "SGVsbG8sIHRoaXMgaXMgYSB0ZXN0Lg==",
    "headers": [
      {
        "headerKey": [
          104,
          101,
          97,
          100,
          101,
          114,
          86,
          97,
          108,
          117,
          101
        ]
      }
    ]
  }
]

Fehler im Zusammenhang mit Aufrufen beheben

Verwende Amazon CloudWatch-Metriken über die CloudWatch-Konsole in der jeweiligen Region für die Pipe, um Probleme im Zusammenhang mit der Aktivierung, dem Aufruf oder der Drosselung zu isolieren.

Wenn du Pipes erstellst, löschst und aktualisierst, kann der Vorgang zu einem Fehlerstatus führen. Weitere Informationen findest du unter Fehlerstatus für Pipe.

Wenn du eine Pipe aufrufst, können zwei Haupttypen von Fehlern auftreten: interne Pipe-Fehler oder Kundenaufruffehler.

Ein interner Pipe-Fehler kann auftreten, wenn eine HTTP-Verbindung fehlschlägt, wenn versucht wird, den Ziel-Service für Kunden aufzurufen. Oder es kann ein Fehler auftreten, wenn die Verfügbarkeit des Pipe-Service selbst vorübergehend abnimmt.

Ein Fehler beim Kundenaufruf kann auftreten, wenn die Pipe nicht über ausreichende Berechtigungen verfügt, um das Ziel aufzurufen. Oder es kann ein Fehler auftreten, wenn Logikfehler im synchron aufgerufenen Kunden-AWS Lambda, AWS Step Functions, API-Ziel oder Amazon API Gateway-Endpunkt auftreten. Weitere Informationen findest du unter Berechtigungen.

EventBridge Pipes unterstützt keine kontoübergreifende Verarbeitung eines Amazon MQ-Brokers von einem anderen Konto aus. Weitere Informationen findest du unter Amazon EventBridge-Pipes – Fehler- und Problembehandlung.

Ähnliche Informationen

Erstellen einer Amazon EventBridge-Pipe