Déclencheur Apache Kafka

Le déclencheur Apache Kafka est un déclencheur d'événement de connecteur qui vous permet d'appeler une intégration en fonction des événements Apache Kafka auxquels vous vous êtes abonné dans votre connexion Apache Kafka.

Avant de commencer

Si vous prévoyez de créer ou de configurer une connexion pour le déclencheur Apache Kafka, assurez-vous de disposer du rôle Identity and Access Management (IAM) suivant dans le projet :

Administrateur des connecteurs (roles/connectors.admin)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer les accès.

Attribuez les rôles IAM suivants au compte de service que vous souhaitez utiliser pour le déclencheur Apache Kafka :

Demandeur Application Integration (roles/integrations.integrationInvoker)

Pour en savoir plus sur l'attribution d'un rôle à un compte de service, consultez la page Gérer l'accès aux comptes de service.

Limite

Le déclencheur Apache Kafka est soumis aux limitations suivantes :

Ne prend pas en charge le protocole de sécurité SASL_SSL pour les abonnements aux événements avec truststore privé.
Ne prend pas en charge mTLS pour les abonnements aux événements.

Ajouter le déclencheur Apache Kafka

Pour ajouter un déclencheur Apache Kafka à votre intégration, procédez comme suit :

Dans la console Google Cloud , accédez à la page Application Integration.
Accéder à Application Integration
Dans le menu de navigation, cliquez sur Intégrations.
La page Liste des intégrations s'affiche et répertorie toutes les intégrations disponibles dans le projet Google Cloud.
Sélectionnez une intégration existante ou cliquez sur Créer une intégration pour en créer une.
Si vous créez une intégration :
1. Saisissez un nom et une description dans le volet Créer une intégration.
2. Sélectionnez une région pour l'intégration.
  Remarque : Le menu déroulant Régions ne répertorie que les régions provisionnées dans votre projet Google Cloud. Pour provisionner une nouvelle région, cliquez sur Activer la région. Pour en savoir plus, consultez la section Activer une nouvelle région.
3. Sélectionnez un compte de service pour l'intégration. Vous pouvez modifier ou mettre à jour les informations du compte de service d'une intégration à tout moment depuis le volet Résumé de l'intégration de la barre d'outils d'intégration.
  Remarque : L'option permettant de sélectionner un compte de service ne s'affiche que si vous avez activé la gouvernance de l'intégration pour la région sélectionnée.
4. Cliquez sur Créer.
L'intégration que vous venez de créer s'ouvre dans l'éditeur d'intégration.
Dans la barre de navigation de l'éditeur d'intégrations, cliquez sur Déclencheurs pour afficher la liste des déclencheurs disponibles.
Cliquez sur l'élément Déclencheur Apache Kafka et placez-le dans l'éditeur d'intégrations.

Pour configurer le déclencheur Apache Kafka, vous pouvez utiliser une connexion Apache Kafka existante disponible dans Integration Connectors ou en créer une à l'aide de l'option de création de connexion intégrée.

Configurer un déclencheur Apache Kafka à l'aide d'une connexion existante

Vous pouvez configurer le déclencheur Apache Kafka à l'aide d'une connexion Apache Kafka existante dans Integration Connectors. Notez que le déclencheur Apache Kafka est un déclencheur d'événement de connecteur. Par conséquent, vous ne pouvez utiliser une connexion Apache Kafka que si l'abonnement aux événements est activé pour configurer le déclencheur.

Pour savoir comment configurer un déclencheur Apache Kafka à l'aide d'une nouvelle connexion Apache Kafka, consultez Configurer un déclencheur Apache Kafka à l'aide d'une nouvelle connexion.

Pour configurer un déclencheur Apache Kafka à l'aide d'une connexion Apache Kafka existante, procédez comme suit :

Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégrations pour ouvrir le volet de configuration du déclencheur.
Cliquez sur Configurer un déclencheur.
Fournissez les informations de configuration suivantes sur la page Éditeur de déclencheurs d'événements de connecteur :
1. Région : sélectionnez la région de votre connexion Apache Kafka.
2. Connexion : sélectionnez la connexion Apache Kafka que vous souhaitez utiliser.
  Application Integration n'affiche que les connexions Apache Kafka actives et pour lesquelles un abonnement aux événements est activé.
3. Nom du sujet : saisissez le nom du sujet.
4. ID du groupe de consommateurs : vous pouvez saisir l'ID du groupe de consommateurs qui spécifie le nom du groupe de consommateurs auquel appartient le consommateur Kafka.
5. Partition : saisissez la partition à laquelle vous souhaitez vous abonner. Les partitions permettent de diviser un sujet en plusieurs parties et de stocker chacune d'elles sur un nœud différent du cluster.
6. Décalage initial : sélectionnez la stratégie de réinitialisation du décalage :
  - Si vous sélectionnez earliest (le plus ancien), votre connexion consomme les messages non consommés, y compris ceux produits avant la durée de vie du groupe de consommateurs.
  - Si vous sélectionnez Dernier, votre connexion consomme les messages produits après la création du groupe de consommateurs.
7. Compte de service : sélectionnez un compte de service disposant des rôles IAM requis pour le déclencheur Apache Kafka.
Cliquez sur OK.

Configurer un déclencheur Apache Kafka à l'aide d'une nouvelle connexion

Pour configurer le déclencheur Apache Kafka à l'aide d'une nouvelle connexion Apache Kafka, procédez comme suit :

Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégrations pour ouvrir le volet de configuration du déclencheur.
Cliquez sur Configurer le déclencheur Apache Kafka.
Ignorez le champ Région.
Cliquez sur Connexion, puis sélectionnez l'option Créer une connexion dans la liste. Le volet Créer une connexion s'affiche.
Dans la section Emplacement, choisissez l'emplacement de la nouvelle connexion Apache Kafka :
1. Région : sélectionnez une région dans la liste.
2. Cliquez sur Suivant.
À l'étape Détails de connexion, fournissez les informations suivantes sur la nouvelle connexion Apache Kafka :
1. Version du connecteur : sélectionnez une version disponible du connecteur Apache Kafka dans la liste.
2. Nom de connexion : saisissez un nom pour la connexion Apache Kafka.
  Remarque : Les noms de connexion doivent répondre aux critères suivants :
  - Les noms de connexion peuvent contenir des lettres, des chiffres ou des traits d'union.
  - Les lettres doivent être en minuscules.
  - Ils doivent commencer par une lettre et se terminer par une lettre ou un chiffre.
  - Ils ne peuvent pas dépasser 49 caractères.
  - Pour les connecteurs qui acceptent les abonnements aux événements, les noms de connexion ne peuvent pas commencer par le préfixe "goog".
3. (Facultatif) Description : saisissez une description de la connexion.
4. (Facultatif) Activer Cloud Logging : cochez cette case pour stocker toutes les données de journal de la connexion.
5. Compte de service : sélectionnez un compte de service disposant des rôles IAM requis pour la connexion Apache Kafka.
6. L'option Activer l'abonnement aux événements, l'entité et les actions est sélectionnée par défaut pour la connexion Apache Kafka.
  Remarque : Ce connecteur n'est pas compatible avec l'option Enable only event subscription.
7. Schéma de détection de type : sélectionnez MessageOnly.
8. Service de registre : service de registre de schéma utilisé pour travailler avec des schémas de sujet.
9. Type de registre : type de schéma spécifié pour un sujet spécifique.
10. Version du registre : version du schéma lu à partir de RegistryUrl pour le sujet spécifié.
11. Utilisateur du registre : valeur du nom d'utilisateur ou de la clé d'accès à autoriser auprès du serveur spécifié dans RegistryUrl.
12. Mot de passe du registre : secret Secret Manager contenant le mot de passe/la valeur de la clé du secret à autoriser auprès du serveur spécifié dans RegistryUrl.
13. (Facultatif) Configurez les paramètres de nœuds de connexion :
  - Nombre minimal de nœuds : saisissez le nombre minimal de nœuds de connexion.
  - Nombre maximal de nœuds : saisissez le nombre maximal de nœuds de connexion.
  Un nœud est une unité (ou instance répliquée) de connexion qui traite des transactions. Pour traiter davantage de transactions pour une connexion, vous devez disposer de plus de nœuds. À l'inverse, moins de nœuds sont nécessaires si une connexion traite moins de transactions. Pour comprendre comment les nœuds affectent la tarification de votre connecteur, consultez Tarifs des nœuds de connexion. Si vous ne saisissez aucune valeur, le nombre minimal de nœuds est défini par défaut sur 2 (pour améliorer la disponibilité) et le nombre maximal de nœuds sur 50.
14. Vous pouvez également cliquer sur + AJOUTER UN LIBELLÉ pour ajouter un libellé à la connexion sous la forme d'une paire clé/valeur.
15. Activer SSL : ce champ indique si SSL est activé.
16. Cliquez sur Suivant.
Dans la section Destinations, saisissez les informations concernant le serveur d'amorçage Kafka auquel vous souhaitez vous connecter.
1. Type de destination : sélectionnez un type de destination.
  - Pour spécifier le nom d'hôte ou l'adresse IP de la destination, sélectionnez Adresse de l'hôte, puis saisissez l'adresse dans le champ Hôte 1.
  - Pour établir une connexion privée, sélectionnez Rattachement de point de terminaison, puis choisissez le rattachement requis dans la liste Rattachement de point de terminaison.
    Remarque : Pour savoir comment créer un rattachement de point de terminaison, consultez Rattachement de service PSC et Rattachement de point de terminaison. Une fois le rattachement de point de terminaison créé, il apparaît dans la liste Rattachement de point de terminaison.
  Si vous souhaitez établir une connexion publique à vos systèmes backend avec une sécurité supplémentaire, vous pouvez envisager de configurer des adresses IP sortantes statiques pour vos connexions, puis de configurer vos règles de pare-feu pour ajouter à la liste d'autorisation uniquement les adresses IP statiques spécifiques.
  
  Pour spécifier d'autres serveurs d'amorçage Kafka, cliquez sur + AJOUTER UNE DESTINATION.
2. Cliquez sur Suivant.
Dans la section Authentification, saisissez les informations d'authentification.
1. Sélectionnez un type d'authentification, puis saisissez les informations appropriées.
  Les types d'authentification suivants sont compatibles avec la connexion Apache Kafka :
  - Nom d'utilisateur et mot de passe
    - Nom d'utilisateur : nom d'utilisateur Apache Kafka à utiliser pour la connexion.
    - Mot de passe : secret Secret Manager contenant le mot de passe associé au nom d'utilisateur Apache Kafka.
    - Schéma d'authentification : schéma utilisé pour l'authentification
      Les schémas d'authentification suivants sont compatibles avec la connexion Apache Kafka :
      - Simple
      - SCRAM-SHA-1
      - SCRAM-SHA-256
  - Non disponible
    Si vous souhaitez utiliser la connexion anonyme, sélectionnez Non disponible.
2. Cliquez sur Suivant.
Saisissez la configuration de lettres mortes. Si vous configurez les lettres mortes, la connexion écrit les événements non traités dans le sujet Pub/Sub spécifié. Saisissez les informations suivantes :
1. ID du projet de lettres mortes : ID du projet Google Cloud dans lequel vous avez configuré la file d'attente Pub/Sub de lettres mortes.
2. File d'attente de lettres mortes : sujet Pub/Sub dans lequel vous souhaitez écrire les détails des événements non traités.
Cliquez sur Suivant.
Vérifier : vérifiez vos informations de connexion et d'authentification.
Cliquez sur Créer.

Sortie du déclencheur

La déclencheur Apache Kafka prend quelques minutes pour configurer l'abonnement aux événements. Vous pouvez consulter l'état de votre abonnement aux événements dans le volet de configuration du déclencheur, sous Détails de l'abonnement aux événements.

Le déclencheur Apache Kafka indique l'état d'un abonnement aux événements à l'aide des états suivants :

Creating : indique que le déclencheur s'abonne à l'abonnement aux événements.
Active : indique que le déclencheur est correctement abonné à un abonnement aux événements.
Error : indique qu'il existe un problème avec l'abonnement aux événements configuré.

En plus de l'état de l'abonnement aux événements, la section Détails de l'abonnement aux événements affiche également d'autres informations, telles que la région, le nom de la connexion et le nom de l'abonnement aux événements.

Variable de sortie du déclencheur

Pour chaque événement, le déclencheur Apache Kafka génère une variable de sortie ConnectorEventPayload (au format JSON) que vous pouvez utiliser dans vos tâches en aval. La variable de sortie contiendra la charge utile de votre événement Apache Kafka. Exemple :

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Afficher les abonnements aux événements

Pour afficher et gérer tous les abonnements aux événements associés à une connexion dans Integration Connectors, procédez comme suit :

Accédez à la page Connecteurs d'intégration > Connexions.
Accéder à la page "Connexions"
Cliquez sur la connexion pour laquelle vous souhaitez afficher les abonnements.
Cliquez sur l'onglet Abonnements aux événements.
Toutes les souscriptions aux événements pour la connexion s'affichent.

Modifier le déclencheur Apache Kafka

Vous pouvez modifier un déclencheur Apache Kafka pour modifier ou mettre à jour la configuration de la connexion et les détails de l'abonnement aux événements.

Pour modifier un déclencheur Apache Kafka, procédez comme suit :

Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégrations pour ouvrir le volet de configuration du déclencheur.
Cliquez sur Configurer le déclencheur Apache Kafka.
Procédez comme suit sur la page Éditeur de déclencheurs d'événements de connecteur :
1. Pour conserver l'abonnement aux événements précédemment configuré, cliquez sur Conserver. Sinon, cliquez sur Supprimer.
  Avertissement : La suppression d'un abonnement à un événement affectera toutes les intégrations publiées qui l'utilisent. Cette opération est irréversible.
2. Mettez à jour la configuration de la connexion et les détails de l'abonnement aux événements selon vos besoins.
3. Cliquez sur OK.

Vous pouvez afficher les détails mis à jour de la connexion et de l'abonnement aux événements dans le volet de configuration du déclencheur, sous Détails de l'abonnement aux événements.

Quotas et limites

Pour plus d'informations sur les quotas et les limites, consultez la section Quotas et limites.

Étape suivante

Découvrez toutes les tâches et tous les déclencheurs.
Découvrez comment tester et publier une intégration .

En savoir plus sur la gestion des erreurs
En savoir plus sur les journaux d'exécution d'intégration