Wie streame ich Daten von CloudWatch Logs in einem VPC-basierten Amazon OpenSearch-Service-Cluster in einem anderen Konto?

Kurzbeschreibung

Gehen Sie wie folgt vor, um Daten von CloudWatch Logs in ein OpenSearch-Service-Cluster in einem anderen Konto zu streamen:

1.Richten Sie CloudWatch Logs in Konto A ein.

2.Konfigurieren Sie AWS Lambda in Konto A.

3.Konfigurieren Sie das Amazon Virtual Private Cloud (Amazon VPC)-Peering zwischen Konten.

Auflösung

Richten Sie CloudWatch Logs in Konto A ein

1.Öffnen Sie die CloudWatch Logs-Konsole in Konto A und wählen Sie Ihre Protokollgruppe aus.

2.Wählen Sie Aktionen.

3.Wählen Sie den Filter OpenSearch-Abonnement erstellen.

4.Wählen Sie für die Option Konto auswählen Dieses Konto aus.

5.Wählen Sie für die Service-Cluster-Dropdown-Liste in OpenSearch einen vorhandenen Cluster für Konto A aus.

6.Wählen Sie die Lambda-IAM-Ausführungsrolle, die berechtigt ist, Aufrufe an den ausgewählten OpenSearch-Service-Cluster zu tätigen.

7.Fügen Sie Ihrer Rolle die AWSLambdaVPCAccessExecutionRole-Richtlinie hinzu.

8.Wählen Sie unter Protokollformat und Filter konfigurieren Ihr ** Protokollformat** und Ihr Abonnementfiltermuster aus.

9.Wählen Sie Weiter.

10.Geben Sie den Namen des Abonnementfilters ein und wählen Sie Streaming starten. Weitere Informationen zum Streaming finden Sie unter Streaming CloudWatch Logs data to Amazon OpenSearch Service (Streamen von CloudWatch Logs-Daten in Amazon OpenSearch Service).

Lambda in Konto A konfigurieren

1.Öffnen Sie in Konto A die Lambda-Konsole.

2.Wählen Sie die Lambda-Funktion aus, die Sie erstellt haben, um das Protokoll zu streamen.

3.Aktualisieren Sie im Funktionscode die Endpunktvariable des OpenSearch Service-Clusters in Konto B. Dieses Update ermöglicht es der Lambda-Funktion, Daten an die OpenSearch-Service-Domäne in Konto B zu senden.

4.Wählen Sie Konfiguration.

5.Wählen Sie VPC.

6.Wählen Sie unter VPC die Option Bearbeiten.

7.Wählen Sie Ihre VPC, Subnetze und Sicherheitsgruppen aus.

**Hinweis:**Diese Auswahl gewährleistet, dass die Lambda-Funktion innerhalb einer VPC ausgeführt wird, wobei VPC-Routing verwendet wird, um Daten zurück an die OpenSearch Service-Domain zu senden. Weitere Informationen zu Amazon Virtual Private Cloud (Amazon VPC)-Konfigurationen finden Sie unter Konfigurieren einer Lambda-Funktion für den Zugriff auf Ressourcen in einer VPC.

8.Wählen Sie Speichern.

VPC-Peering zwischen Konten konfigurieren

1.Öffnen Sie die Amazon VPC-Konsole in Konto A und Konto B.

**Hinweis:**Stellen Sie sicher, dass Ihre VPC keine überlappenden CIDR-Blöcke aufweist.

2.Erstellen Sie eine VPC-Peering-Sitzung zwischen den beiden benutzerdefinierten VPCs (Lambda und OpenSearch Service). Diese VPC-Peering-Sitzung ermöglicht es Lambda, Daten an Ihre OpenSearch Service-Domain zu senden. Weitere Informationen zu VPC-Peering-Verbindungen finden Sie unter Erstellen einer VPC-Peering-Verbindung.

3.Aktualisieren Sie die Routing-Tabelle für beide VPCs. Weitere Informationen zu Routing-Tabellen finden Sie unter Aktualisieren Sie Ihre Routing-Tabellen für eine VPC-Peering-Verbindung.

4.Gehen Sie in Konto A zu Sicherheitsgruppen.

5.Wählen Sie die Sicherheitsgruppe aus, die dem Subnetz zugewiesen ist, in dem Lambda eingerichtet ist.

Hinweis: In diesem Fall bezieht sich „Sicherheitsgruppe“ auf eine Subnetz-Netzwerk-ACL.

6.Fügen Sie die Regel für eingehenden Datenverkehr hinzu, um Datenverkehr aus den OpenSearch-Service-Subnetzen zuzulassen.

7.Wählen Sie in Konto B die Sicherheitsgruppe aus, die dem Subnetz zugewiesen ist, in dem der OpenSearch-Service eingerichtet ist.

8.Fügen Sie die Regel für eingehenden Datenverkehr hinzu, um Datenverkehr aus den Lambda-Subnetzen zuzulassen.

9.Öffnen Sie in Konto B die OpenSearch-Service-Konsole.

10.Wählen Sie Aktionen.

11.Wählen SieZugriffsrichtlinie ändern und fügen Sie dann die folgende Richtlinie an:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {

    "AWS": "arn:aws:iam::<AWS Account A>:role/<Lambda Execution Role>"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1: ::<AWS
    Account B>:domain/<OpenSearch Domain Name>/*"
    }
  ]
}

Diese Richtlinie ermöglicht es dem OpenSearch-Service, Aufrufe von der Ausführungsrolle der Lambda-Funktion aus zu tätigen.

12.Überprüfen Sie die Metrik Fehleranzahl und Erfolgsquote in der Lambda-Konsole. Diese Metrik überprüft, ob Protokolle erfolgreich an den OpenSearch-Service übermittelt wurden.

13.Überprüfen Sie die Metrik Indizierungsrate im OpenSearch-Service, um zu bestätigen, ob die Daten gesendet wurden. CloudWatch Logs streamt jetzt über beide Konten in Ihrer Amazon VPC.