Consulta los conectores compatibles con Application Integration.

Activador de Apache Kafka

El activador de Apache Kafka es un activador de eventos del conector que te permite invocar una integración en función de los eventos de Apache Kafka a los que te suscribiste en tu conexión de Apache Kafka.

Antes de comenzar

Si planeas crear o configurar una nueva conexión para el activador de Apache Kafka, asegúrate de tener el siguiente rol de Identity and Access Management (IAM) en el proyecto:

  • Administrador de conectores (roles/connectors.admin)

    • Para obtener información sobre cómo otorgar roles, consulta Administra el acceso.

Otorga los siguientes roles de IAM a la cuenta de servicio que quieres usar para el activador de Apache Kafka:

Limitación

El activador de Apache Kafka está sujeto a las siguientes limitaciones:

  • Admite el protocolo de seguridad SASL_SSL para suscripciones a eventos.
  • No es compatible con mTLS para suscripciones a eventos.

Agrega el activador de Apache Kafka

Para agregar un activador de Apache Kafka a tu integración, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Application Integration.

    Ir a Application Integration

  2. En el menú de navegación, haz clic en Integraciones.

    Aparecerá la página Integrations List, en la que se enumeran todas las integraciones disponibles en el proyecto de Google Cloud.

  3. Selecciona una integración existente o haz clic en Crear integración para crear una nueva.

    Si creas una integración nueva, haz lo siguiente:

    1. Ingresa un nombre y una descripción en el panel Crear integración.
    2. Selecciona una región para la integración.
    3. Selecciona una cuenta de servicio para la integración. Puedes cambiar o actualizar los detalles de la cuenta de servicio de una integración en cualquier momento desde el panel Integration summary de la barra de herramientas de integración.
    4. Haz clic en Crear.

    Esto abrirá la integración en la página del editor de integración.

  4. En la barra de navegación del editor de integración, haz clic en Activadores para ver la lista de activadores disponibles.
  5. Haz clic y coloca el elemento activador de Apache Kafka en el editor de integración.

    6. Para configurar el activador de Apache Kafka, puedes usar una conexión existente de Apache Kafka disponible en Integration Connectors o crear una nueva conexión con Apache Kafka con la opción de creación de conexión intercalada.

Configura el activador de Apache Kafka con una conexión existente

Puedes configurar el activador de Apache Kafka con una conexión de Apache Kafka existente en Conectores de integración. Ten en cuenta que el activador de Apache Kafka es un activador de evento de conector, por lo que solo puedes usar una conexión de Apache Kafka con la suscripción al evento habilitada para configurar el activador.

Si necesitas información para configurar un activador de Apache Kafka con una conexión nueva de Apache Kafka, consulta Configura el activador de Apache Kafka con una conexión nueva.

Para configurar un activador de Apache Kafka con una conexión de Apache Kafka existente, sigue estos pasos:

  1. Haz clic en el elemento activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
  2. Haz clic en Configurar activador.
  3. Proporciona los siguientes detalles de configuración en la página Editor de activadores de eventos de conector:
    1. Región: Selecciona la región de tu conexión de Apache Kafka.
    2. Conexión: Selecciona la conexión de Apache Kafka que deseas usar.

      Application Integration solo muestra las conexiones de Apache Kafka que están activas y tienen habilitada una suscripción a eventos.

    3. Nombre del tema: Ingresa el nombre del tema.
    4. ID del grupo de consumidores: De forma opcional, ingresa el ID del grupo de consumidores que especifica el nombre del grupo de consumidores al que pertenece el consumidor de Kafka.
    5. Partition: Ingresa la partición si quieres suscribirte a una partición en particular. Las particiones son una forma de dividir un tema en varias partes y almacenar cada una en un nodo diferente del clúster.
    6. Desfase inicial: Selecciona la estrategia de restablecimiento de desplazamiento:
      • Si seleccionas Más temprano, tu conexión consumirá mensajes no consumidos, incluidos los mensajes producidos antes del ciclo de vida del grupo de consumidores.
      • Si seleccionas más reciente, tu conexión consumirá mensajes que se producen después de que se crea el grupo de consumidores.
    7. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para el activador de Apache Kafka.
  4. Haz clic en Listo.

Configura el activador de Apache Kafka con una conexión nueva

Para configurar el activador de Apache Kafka con una nueva conexión de Apache Kafka, sigue estos pasos:

  1. Haz clic en el elemento activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
  2. Haz clic en Configurar activador de Apache Kafka.
  3. Omite el campo Región.
  4. Haz clic en Connection y selecciona la opción Create Connection de la lista. Aparecerá el panel Crear conexión.
  5. En el paso Ubicación, elige la ubicación de la nueva conexión de Apache Kafka:
    1. Region: Selecciona una región de la lista.
    2. Haz clic en Siguiente.
  6. En el paso Detalles de la conexión, proporciona los detalles sobre la nueva conexión de Apache Kafka:
    1. Versión del conector: Elige una versión disponible del conector de Apache Kafka de la lista.
    2. Nombre de la conexión: ingresa un nombre para la conexión de Apache Kafka.
    3. Descripción: Ingresa una descripción para la conexión (opcional).
    4. Habilitar Cloud Logging: Selecciona esta casilla de verificación para almacenar todos los datos de registro de la conexión (opcional).
    5. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para la conexión de Apache Kafka.
    6. La opción Habilitar suscripción a eventos, entidad y acciones está seleccionada de forma predeterminada para la conexión de Apache Kafka.
    7. Esquema de detección de tipos: Selecciona MessageOnly.
    8. Servicio de registro: El servicio de Registro de esquemas que se usa para trabajar con esquemas de temas.
    9. Registry Type: Es el tipo de esquema especificado para un tema específico.
    10. Versión del registro: Es la versión del esquema que se lee desde RegistryUrl para el tema especificado.
    11. Usuario del registro: Es el nombre de usuario o el valor de la clave de acceso que se debe autorizar con el servidor especificado en el archivo RegistryUrl.
    12. Contraseña del registro: Secreto del administrador de secretos que contiene la contraseña o el valor de la clave secreta que se autorizará con el servidor especificado en RegistryUrl.
    13. De manera opcional, configura los parámetros de nodo de conexión:

      • Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
      • Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.

      Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.

    14. De forma opcional, haz clic en + AGREGAR ETIQUETA para agregar una etiqueta a la conexión en forma de un par clave-valor.
    15. Habilitar SSL: este campo establece si SSL está habilitada.
    16. Haz clic en Siguiente.
  7. En la sección Destinos, ingresa los detalles del host remoto (sistema de backend) al que deseas conectarte.
    1. Tipo de destino: Selecciona un Tipo de destino.
      • Selecciona Dirección de host en la lista para especificar el nombre de host o la dirección IP del destino.
      • Si quieres establecer una conexión privada con tus sistemas de backend, Selecciona Adjunto de extremo de la lista y, luego, selecciona el adjunto de extremo requerido. de la lista Adjunto de extremo.

      Si deseas establecer una conexión pública a tus sistemas de backend con seguridad adicional, puedes configurar direcciones IP salientes estáticas para tus conexiones y, luego, configurar tus reglas de firewall para incluir en la lista de entidades permitidas solo las direcciones IP estáticas específicas.

      Para ingresar destinos adicionales, haz clic en +AGREGAR DESTINO.

    2. Haz clic en Siguiente.
  8. En la sección Autenticación, ingresa los detalles de autenticación.
    1. Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.

      La conexión de Apache Kafka admite los siguientes tipos de autenticación:

      • Nombre de usuario y contraseña
        • Nombre de usuario: El nombre de usuario de Apache Kafka que se usará para la conexión.
        • Contraseña: El Secret de Secret Manager que contiene la contraseña asociada con el nombre de usuario de Apache Kafka.
        • Esquema de autenticación: El esquema utilizado para la autenticación

          La conexión de Apache Kafka admite el siguiente esquema de autenticación:

          • Sin formato
          • SCRAM‐SHA‐1
          • SCRAM-SHA-256
      • No disponible

        Si deseas usar un acceso anónimo, selecciona No disponible.

    2. Haz clic en Siguiente.
  9. Ingresa la configuración de mensajes no entregados. Si configuras mensajes no entregados, la conexión escribe los eventos sin procesar al tema de Pub/Sub especificado. Ingresa los siguientes detalles:
    1. ID del proyecto de mensajes no entregados: Es el ID del proyecto de Google Cloud en el que configuraste el tema de mensajes no entregados de Pub/Sub.
    2. Tema de mensajes no entregados: es el tema de Pub/Sub en el que deseas escribir los detalles del evento sin procesar.
  10. Haz clic en Siguiente.
  11. Revisa: Revisa tus detalles de conexión y autenticación.
  12. Haz clic en Crear.

Resultado del activador

El activador de Apache Kafka tarda unos minutos en completar la configuración de la suscripción al evento. Puedes consultar el estado de tu suscripción al evento en el panel de configuración del activador en Detalles de la suscripción a eventos.

El activador de Apache Kafka indica el estado de una suscripción a eventos con los siguientes estados:

  • Creating: Indica que el activador se suscribe a la suscripción del evento.
  • Active: Indica que el activador se suscribió correctamente a una suscripción a un evento.
  • Error: Indica que hay un problema con la suscripción al evento configurada.

Además del estado de suscripción al evento, la sección Detalles de suscripción al evento también muestra otros detalles, como la región y el nombre de la conexión, y el nombre de la suscripción al evento.

Variable de salida del activador

Para cada evento, el activador de Apache Kafka genera un ConnectorEventPayload. de salida (en formato JSON) que puedes usar en tus tareas downstream. El resultado tendrá la carga útil de tu evento de Apache Kafka. Por ejemplo: 

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Ver suscripciones a eventos

Para ver y administrar todas las suscripciones a eventos asociadas con una conexión en Integration Connectors, haz lo siguiente:

  1. Ve a Integration Connectors > Conexiones (Connections).

    Ir a la página Conexiones

  2. Haz clic en la conexión para la que deseas ver las suscripciones.
  3. Haz clic en la pestaña Suscripciones a eventos.

    Se mostrarán todas las suscripciones a eventos de la conexión.

Edita el activador de Apache Kafka

Puedes editar un activador de Apache Kafka para cambiar o actualizar la configuración de la conexión y los detalles de la suscripción al evento.

Para editar un activador de Apache Kafka, sigue estos pasos:

  1. Haz clic en el elemento activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
  2. Haz clic en Configurar activador de Apache Kafka.
  3. Haz lo siguiente en la página Editor de activadores de eventos de conector:
    1. Para conservar la suscripción al evento configurada anteriormente, haz clic en Conservar o, de lo contrario, haz clic en Borrar.
    2. Actualiza la configuración de conexión y los detalles de la suscripción a eventos según lo desees.
    3. Haz clic en Listo.

    4. Puedes ver la conexión actualizada y los detalles de la suscripción a eventos en el panel de configuración del activador en Detalles de suscripción a eventos.

Cuotas y límites

Para obtener más información sobre las cuotas y los límites, consulta Cuotas y límites.

¿Qué sigue?