Activador de Apache Kafka

El activador de Apache Kafka es un activador de eventos de conector que te permite invocar una integración en función de los eventos de Apache Kafka a los que te suscribiste en tu conexión de Apache Kafka.

Antes de comenzar

Si planeas crear o configurar una conexión nueva para el activador de Apache Kafka, asegúrate de tener el siguiente rol de Identity and Access Management (IAM) en el proyecto:

Administrador de conectores (roles/connectors.admin)

Para obtener información sobre cómo otorgar roles, consulta Administra el acceso.

Otorga los siguientes roles de IAM a la cuenta de servicio que deseas usar para el activador de Apache Kafka:

Invocador de Application Integration (roles/integrations.integrationInvoker)

Para obtener información sobre cómo otorgar roles a una cuenta de servicio, consulta Administra el acceso a las cuentas de servicio.

Limitación

El activador de Apache Kafka está sujeto a las siguientes limitaciones:

No admite el protocolo de seguridad SASL_SSL para suscripciones a eventos con un almacén de confianza privado.
No admite mTLS para las suscripciones a eventos.

Agrega el activador de Apache Kafka

Para agregar un activador de Apache Kafka a tu integración, sigue estos pasos:

En la consola de Google Cloud , ve a la página Application Integration.
Ir a Application Integration
En el menú de navegación, haz clic en Integraciones.
Aparecerá la página Lista de integraciones, en la que se enumeran todas las integraciones disponibles en el proyecto de Google Cloud.
Selecciona una integración existente o haz clic en Crear integración para crear una nueva.
Si creas una integración nueva, haz lo siguiente:
1. Ingresa un nombre y una descripción en el panel Crear integración.
2. Selecciona una región para la integración.
  Nota: En el menú desplegable Regiones, solo se enumeran las regiones aprovisionadas en el proyecto de Google Cloud. Para aprovisionar una región nueva, haz clic en Habilitar región. Consulta Habilita una región nueva para obtener más información.
3. Selecciona una cuenta de servicio para la integración. Puedes cambiar o actualizar los detalles de la cuenta de servicio de una integración en cualquier momento desde el panel Resumen de la integración en la barra de herramientas de integración.
  Nota: La opción para seleccionar una cuenta de servicio solo se muestra si habilitaste la administración de la integración para la región seleccionada.
4. Haz clic en Crear.
La integración recién creada se abre en el editor de integración.
En la barra de navegación del editor de integración, haz clic en Activadores para ver la lista de activadores disponibles.
Haz clic y coloca el elemento activador de Apache Kafka en el editor de integración.

Para configurar el activador de Apache Kafka, puedes usar una conexión de Apache Kafka existente disponible en Integration Connectors o crear una nueva conexión de Apache Kafka con la opción de creación de conexiones intercalada.

Configura el activador de Apache Kafka con una conexión existente

Puedes configurar el activador de Apache Kafka con una conexión de Apache Kafka existente en Integration Connectors. Ten en cuenta que el activador de Apache Kafka es un activador de eventos de conector, por lo que solo puedes usar una conexión de Apache Kafka con la suscripción a eventos habilitada para configurar el activador.

Para obtener información sobre cómo configurar un activador de Apache Kafka con una conexión nueva de Apache Kafka, consulta Cómo configurar un activador de Apache Kafka con una conexión nueva

Para configurar un activador de Apache Kafka con una conexión de Apache Kafka existente, sigue estos pasos:

Haz clic en el elemento Activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
Haz clic en Configurar activador.
Proporciona los siguientes detalles de configuración en la página Editor de activadores de eventos del conector:
1. Región: Selecciona la región de tu conexión de Apache Kafka.
2. Conexión: Selecciona la conexión de Apache Kafka que deseas usar.
  Application Integration solo muestra las conexiones de Apache Kafka que están activas y tienen habilitada una suscripción a eventos.
3. Nombre del tema: Ingresa el nombre del tema.
4. ID del grupo de consumidores: De manera opcional, ingresa el ID del grupo de consumidores que especifica el nombre del grupo de consumidores al que pertenece el consumidor de Kafka.
5. Partición: Ingresa la partición si quieres suscribirte a una partición en particular. Las particiones son una forma de dividir un tema en varias partes y almacenar cada parte en un nodo diferente del clúster.
6. Initial Offset: Selecciona la estrategia de restablecimiento del desplazamiento:
  - Si seleccionas earliest, tu conexión consumirá mensajes no consumidos, incluidos los mensajes producidos antes del ciclo de vida del grupo de consumidores.
  - Si seleccionas latest, tu conexión consumirá los mensajes que se produzcan después de que se cree el grupo de consumidores.
7. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para el activador de Apache Kafka.
Haz clic en Listo.

Configura el activador de Apache Kafka con una conexión nueva

Para configurar el activador de Apache Kafka con una conexión nueva de Apache Kafka, sigue estos pasos:

Haz clic en el elemento Activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
Haz clic en Configurar el activador de Apache Kafka.
Omite el campo Región.
Haz clic en Conexión y selecciona la opción Crear conexión en la lista. Aparecerá el panel Create Connection.
En el paso Ubicación, elige la ubicación para la nueva conexión de Apache Kafka:
1. Región: Selecciona una región de la lista.
2. Haz clic en Siguiente.
En el paso Detalles de la conexión, proporciona detalles sobre la nueva conexión de Apache Kafka:
1. Versión del conector: Elige una versión disponible del conector de Apache Kafka en la lista.
2. Nombre de la conexión: Ingresa un nombre para la conexión de Apache Kafka.
  Nota: Los nombres de las conexiones deben cumplir con los siguientes criterios:
  - Los nombres de las conexiones pueden usar letras, números o guiones.
  - Las letras deben estar en minúsculas.
  - Los nombres de las conexiones deben comenzar con una letra y terminar con una letra o un número.
  - Los nombres de las conexiones no pueden superar los 49 caracteres.
  - En el caso de los conectores que admiten la suscripción a eventos, los nombres de las conexiones no pueden comenzar con el prefijo "goog".
3. (Opcional) Descripción: Ingresa una descripción para la conexión.
4. (Opcional) Habilita Cloud Logging: Selecciona esta casilla de verificación para almacenar todos los datos de registro de la conexión.
5. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para la conexión de Apache Kafka.
6. La opción Habilitar acciones, entidad y suscripción al evento está seleccionada de forma predeterminada para la conexión de Apache Kafka.
  Nota: Este conector no admite la opción Enable only event subscription.
7. Esquema de detección de tipos: Selecciona MessageOnly.
8. Servicio de registro: El servicio de Registro de esquemas que se usa para trabajar con esquemas de temas.
9. Tipo de registro: Es el tipo de esquema especificado para un tema determinado.
10. Versión del registro: Es la versión del esquema que se lee de RegistryUrl para el tema especificado.
11. Usuario de registro: Valor de nombre de usuario o clave de acceso que se autorizará con el servidor que se especifica en RegistryUrl.
12. Contraseña del registro: El Secret de Secret Manager que contiene la contraseña o el valor de la clave secreta para autorizar con el servidor especificado en RegistryUrl.
13. De manera opcional, configura los parámetros de nodo de conexión:
  - Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
  - Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.
  Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.
14. De forma opcional, haz clic en + AGREGAR ETIQUETA para agregar una etiqueta a la conexión en forma de un par clave-valor.
15. Enable SSL: Este campo configura si SSL está habilitado.
16. Haz clic en Siguiente.
En la sección Destinos, ingresa los detalles del servidor de arranque de Kafka al que deseas conectarte.
1. Tipo de destino: Selecciona un Tipo de destino.
  - Para especificar el nombre de host o la dirección IP de destino, selecciona Dirección de host y, luego, ingresa la dirección en el campo Host 1.
  - Para establecer una conexión privada, selecciona Adjunto de extremo y elige el adjunto requerido de la lista Adjunto de extremo.
    Nota: Para comprender cómo crear un adjunto de extremo, consulta adjunto de servicio de PSC y adjunto de extremo. Después de crear el adjunto del extremo, este se mostrará en la lista Adjunto del extremo.
  Si deseas establecer una conexión pública con tus sistemas de backend con seguridad adicional, puedes configurar direcciones IP salientes estáticas para tus conexiones y, luego, configurar tus reglas de firewall para permitir solo las direcciones IP estáticas específicas.
  
  Para especificar servidores de arranque de Kafka adicionales, haz clic en + AGREGAR DESTINO.
2. Haz clic en Siguiente.
En la sección Autenticación, ingresa los detalles de autenticación.
1. Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.
  La conexión de Apache Kafka admite los siguientes tipos de autenticación:
  - Nombre de usuario y contraseña
    - Nombre de usuario: El nombre de usuario de Apache Kafka que se usará para la conexión.
    - Contraseña: El Secret de Secret Manager que contiene la contraseña asociada con el nombre de usuario de Apache Kafka.
    - Esquema de autenticación: Es el esquema que se usa para la autenticación.
      La conexión de Apache Kafka admite los siguientes esquemas de autenticación:
      - Plain
      - SCRAM-SHA-1
      - SCRAM-SHA-256
  - No disponible
    Si deseas usar un acceso anónimo, selecciona No disponible.
2. Haz clic en Siguiente.
Ingresa la configuración de mensajes no entregados. Si configuras mensajes no entregados, la conexión escribe los eventos sin procesar en el tema de Pub/Sub especificado. Ingresa los siguientes detalles:
1. ID del proyecto de mensajes no entregados: Es el ID del proyecto de Google Cloud en el que configuraste el tema de Pub/Sub de mensajes no entregados.
2. Tema de mensajes no entregados: Es el tema de Pub/Sub en el que deseas escribir los detalles del evento no procesado.
Haz clic en Siguiente.
Revisa: Revisa tus detalles de conexión y autenticación.
Haz clic en Crear.

Resultado del activador

El activador de Apache Kafka tarda unos minutos en completar la configuración de la suscripción a eventos. Puedes ver el estado de tu suscripción a eventos en el panel de configuración del activador en Detalles de la suscripción a eventos.

El activador de Apache Kafka indica el estado de una suscripción a eventos con los siguientes estados:

Creating: Indica que el activador se está suscribiendo a la suscripción de eventos.
Active: Indica que el activador se suscribió correctamente a una suscripción de eventos.
Error: Indica que hay un problema con la suscripción al evento configurada.

Además del estado de la suscripción al evento, en la sección Detalles de la suscripción al evento también se muestran otros detalles, como la región de la conexión, el nombre de la conexión y el nombre de la suscripción al evento.

Variable de salida del activador

Para cada evento, el activador de Apache Kafka genera una variable de salida ConnectorEventPayload (en formato JSON) que puedes usar en tus tareas posteriores. La variable de salida tendrá la carga útil de tu evento de Apache Kafka. Por ejemplo:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Cómo ver las suscripciones a eventos

Para ver y administrar todas las suscripciones a eventos asociadas con una conexión en Integration Connectors, haz lo siguiente:

Ve a la página Integration Connectors > Connections.
Ir a la página Conexiones
Haz clic en la conexión para la que deseas ver las suscripciones.
Haz clic en la pestaña Suscripciones a eventos.
Aquí se muestran todas las suscripciones a eventos de la conexión.

Edita el activador de Apache Kafka

Puedes editar un activador de Apache Kafka para cambiar o actualizar la configuración de conexión y los detalles de suscripción a eventos.

Para editar un activador de Apache Kafka, sigue estos pasos:

Haz clic en el elemento Activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
Haz clic en Configurar el activador de Apache Kafka.
Haz lo siguiente en la página Connector Event Trigger Editor:
1. Para conservar la suscripción al evento configurada anteriormente, haz clic en Conservar o, de lo contrario, en Borrar.
  Advertencia: Si borras una suscripción a eventos, se verán afectadas todas las integraciones publicadas que la usen. No se puede deshacer esta tarea.
2. Actualiza la configuración de la conexión y los detalles de la suscripción a eventos según desees.
3. Haz clic en Listo.

Puedes ver los detalles actualizados de la conexión y la suscripción a eventos en el panel de configuración del activador en Detalles de la suscripción a eventos.

Cuotas y límites

Para obtener información sobre las cuotas y los límites, consulta Cuotas y límites.

¿Qué sigue?

Obtén información sobre todas las tareas y los activadores.
Obtén información para probar y publicar una integración .

Obtén información sobre el control de errores.
Obtén más información sobre los registros de ejecución de integración.