Come faccio ad eseguire lo streaming di dati da CloudWatch Logs a un cluster Amazon OpenSearch Service basato su VPC in un altro account?

Breve descrizione

Per lo streaming di dati CloudWatch Logs a un cluster OpenSearch Service in un altro account, procedi come segue:

1.    Configura CloudWatch Logs nell'account A.

2.    Configura AWS Lambda nell'account A.

3.    Configura il peering di Amazon Virtual Private Cloud (Amazon VPC) tra account.

Risoluzione

Configurare CloudWatch Logs nell'account A

1.    Apri la console CloudWatch Logs nell'account A e seleziona il tuo gruppo di log.

2.    Scegli Azioni.

3.    Scegli il filtro Crea sottoscrizione OpenSearch.

4.    Per l'opzione Seleziona account, seleziona Questo account.

5.    Per il menu a tendina del cluster OpenSearch Service, scegli un cluster esistente per l'account A.

6.    Scegli il ruolo di esecuzione IAM di Lambda che dispone delle autorizzazioni per effettuare chiamate al cluster OpenSearch Service selezionato.

7.    Allega la policy AWSLambdaVPCAccessExecutionRole al ruolo.

8.    In Configurare il formato di log e i filtri, seleziona il Formato di log e il Modello del filtro sottoscrizioni.

9.    Scegli Avanti.

10.    Inserisci il nome del Filtro sottoscrizione e scegli Avvia streaming. Per ulteriori informazioni sullo streaming, consulta Streaming di dati CloudWatch Logs al servizio Amazon OpenSearch Service.

Configura Lambda nell'account A

1.    Nell'account A, apri la console Lambda.

2.    Seleziona la funzione Lambda che hai creato per eseguire lo streaming dei log.

3.    Nel codice della funzione, aggiorna la variabile endpoint del cluster OpenSearch Service nell'account B. Questo aggiornamento consente alla funzione Lambda di inviare dati al dominio OpenSearch Service nell'account B.

4.    Scegli Configurazione.

5.    Scegli VPC.

6.    In VPC, scegli Modifica.

7.    Seleziona il tuo VPC, le sottoreti e i gruppi di sicurezza.

Nota: Questa selezione assicura che la funzione Lambda venga eseguita all'interno di un VPC, utilizzando il routing VPC per inviare i dati al dominio OpenSearch Service. Per ulteriori informazioni sulle configurazioni di Amazon Virtual Private Cloud (Amazon VPC), consulta Configurazione di una funzione Lambda per accedere alle risorse in un VPC.

8.    Scegli Salva.

Configura il peering VPC tra gli account

1.    Apri la console Amazon VPC nell'account A e nell'account B.

Nota: Assicurati che il tuo VPC non abbia blocchi CIDR sovrapposti.

2.    Crea una sessione di peering VPC tra i due VPC personalizzati (Lambda e OpenSearch Service). Questa sessione di peering VPC consente a Lambda di inviare dati al dominio di OpenSearch Service. Per ulteriori informazioni sulle connessioni peering VPC, consulta Creazione di una connessione peering VPC.

3.    Aggiorna la tabella di routing per entrambi i VPC. Per ulteriori informazioni sulle tabelle di routing, consulta Aggiornamento delle tabelle di routing per una connessione peering VPC.

4.    Nell'account A, vai su Gruppi di sicurezza.

5.    Seleziona il gruppo di sicurezza assegnato alla sottorete in cui è configurato Lambda.

Nota: In questa istanza, "gruppo di sicurezza" si riferisce a un ACL di rete di sottorete.

6.    Aggiungi la regola in entrata per consentire il traffico dalle sottoreti di OpenSearch Service.

7.    Nell'account B, seleziona il gruppo di sicurezza assegnato alla sottorete in cui è impostato OpenSearch Service.

8.    Aggiungi la regola in entrata per consentire il traffico dalle sottoreti Lambda.

9.    Nell'Account B, apri la console OpenSearch Service.

10.    Scegli Azioni.

11.    Scegli modifica policy di accesso, quindi aggiungi la seguente policy:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {

    "AWS": "arn:aws:iam::<AWS Account A>:role/<Lambda Execution Role>"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1: ::<AWS
    Account B>:domain/<OpenSearch Domain Name>/*"
    }
  ]
}

Questa politica consente a OpenSearch Service di effettuare chiamate dal ruolo di esecuzione della funzione Lambda.

12.    Controlla la metrica relativa al conteggio degli errori e alla percentuale di successo nella console Lambda. Questa metrica verifica se i log sono stati consegnati correttamente a OpenSearch Service.

13.    Controlla la metrica della Velocità di indicizzazione in OpenSearch Service per confermare se i dati sono stati inviati. CloudWatch Logs ora viene trasmesso in streaming su entrambi gli account del tuo Amazon VPC.