¿Cómo puedo desplegar EventBridge Pipes con Amazon MSK?

Solución

Nota: Para obtener más información sobre Amazon MSK y sobre cómo crear un clúster, consulta Introducción al uso de Amazon MSK.

Requisitos previos

• Autenticación del clúster de MSK: EventBridge debe tener permiso para acceder al clúster de MSK, recuperar registros y realizar otras tareas.
• Configuración de la red: EventBridge debe tener acceso a los recursos de Amazon Virtual Private Cloud (Amazon VPC) asociados a tu clúster de MSK.
• Permisos del rol de ejecución de Amazon MSK: EventBridge requiere permisos para administrar los recursos relacionados con tu tema de MSK.

Despliegue de EventBridge Pipes con Amazon MSK

Sigue estos pasos:

1. Navega hasta la consola de EventBridge en tu región de AWS correspondiente.
2. En el panel de navegación, selecciona Pipes.
3. Elige Crear canalización.
4. Introduce un nombre para la canalización.
5. (Opcional) Introduce una descripción para la canalización.

Seleccionar Amazon MSK como origen de la canalización

Sigue estos pasos:

1. En Seleccionar origen, elige Amazon MSK.
2. Elige el clúster de Amazon MSK que creaste anteriormente.
3. Introduce el nombre del tema de Apache Kafka utilizado para almacenar registros en tu clúster de Apache Kafka.
4. (Opcional) Proporciona el ID de un grupo de consumidores de Apache Kafka al que desees unirte. Para obtener más información, consulta Tema de Amazon Managed Streaming para Apache Kafka como origen en EventBridge Pipes.
5. (Opcional) Elige el método de autenticación y la clave secreta.

Aplicación de ajustes adicionales

Sigue estos pasos:

1. (Opcional) Configura el tamaño del lote y el intervalo del lote.
2. Configura la posición inicial.
   Nota: Para la posición inicial, la última es la configuración predeterminada. Si es necesario, cambia a Trim horizon. Trim horizon es lo mismo que Más temprano para Apache Kafka.
3. (Opcional) Aplica la configuración de filtrado y enriquecimiento.
4. Elige tu objetivo de la lista de servicio de objetivos.
5. (Opcional) Define un transformador de entrada.
6. Confirma que la configuración de la canalización es correcta. A continuación, selecciona Crear aplicación.

Cuando la canalización pasa al estado En ejecución, EventBridge busca internamente nuevos mensajes del origen. A continuación, invoca al objetivo de forma sincrónica.

Nota: La carga útil del evento contiene una matriz de mensajes. Cada elemento contiene detalles del tema de MSK y del identificador de partición de MSK, junto con una marca de tiempo y un mensaje codificado en base64.

A continuación se muestra un ejemplo de evento de MSK:

[  {
    "eventSource": "aws:kafka",
    "eventSourceArn": "arn:aws:kafka:sa-east-1:123456789012:cluster/vpc-2priv-2pub/751d2973-a626-431c-9d4e-d7975eb44dd7-2",
    "eventSourceKey": "mytopic-0",
    "topic": "mytopic",
    "partition": "0",
    "offset": 15,
    "timestamp": 1545084650987,
    "timestampType": "CREATE_TIME",
    "key": "abcDEFghiJKLmnoPQRstuVWXyz1234==",
    "value": "SGVsbG8sIHRoaXMgaXMgYSB0ZXN0Lg==",
    "headers": [
      {
        "headerKey": [
          104,
          101,
          97,
          100,
          101,
          114,
          86,
          97,
          108,
          117,
          101
        ]
      }
    ]
  }
]

Solución de errores relacionados con la invocación

Utiliza las métricas de Amazon CloudWatch a través de la consola de CloudWatch de tu región correspondiente para que la canalización aísle los problemas relacionados con la activación, la invocación o la limitación.

Al crear, eliminar y actualizar canalizaciones, la operación puede provocar un estado de error. Para obtener más información, consulta Estados de error de canalizaciones.

Al invocar una canalización, pueden producirse dos tipos principales de errores: errores internos de canalización o errores de invocación de clientes.

Se puede producir un error interno de canalización si una conexión HTTP falla al intentar invocar el servicio de objetivos del cliente. O bien, puede producirse un error si hay una caída transitoria de la disponibilidad en el propio servicio de canalizaciones.

Es posible que se produzca un error de invocación del cliente si no hay suficientes permisos en la canalización para invocar el objetivo. O bien, puede producirse un error si hay errores lógicos en AWS Lambda, AWS Step Functions, el destino de la API o el punto de enlace de Amazon API Gateway del cliente invocado de forma sincrónica. Para obtener más información, consulta Permisos.

EventBridge Pipes no admite el procesamiento entre cuentas de un agente de Amazon MQ desde una cuenta diferente. Para obtener más información, consulta Gestión de errores y solución de problemas de Amazon EventBridge Pipes.

Información relacionada

Creación de una canalización de Amazon EventBridge