Trigger Apache Kafka

Il trigger Apache Kafka è un trigger evento connettore che ti consente di richiamare un'integrazione in base agli eventi Apache Kafka a cui hai eseguito la sottoscrizione nella connessione Apache Kafka.

Prima di iniziare

Se prevedi di creare o configurare una nuova connessione per il trigger Apache Kafka, assicurati di disporre del seguente ruolo Identity and Access Management (IAM) nel progetto:

Connector Admin (roles/connectors.admin)

Per informazioni sulla concessione dei ruoli, vedi Gestire l'accesso.

Concedi i seguenti ruoli IAM al account di servizio che vuoi utilizzare per il trigger Apache Kafka:

Application Integration Invoker (roles/integrations.integrationInvoker)

Per informazioni sulla concessione dei ruoli a un account di servizio, vedi Gestire l'accesso ai service account.

Limitazione

Il trigger Apache Kafka è soggetto alle seguenti limitazioni:

Non supporta il protocollo di sicurezza SASL_SSL per gli abbonamenti agli eventi con truststore privato.
Non supporta mTLS per gli abbonamenti agli eventi.

Aggiungere l'attivatore Apache Kafka

Per aggiungere un trigger Apache Kafka all'integrazione:

Nella console Google Cloud , vai alla pagina Application Integration.
Vai ad Application Integration
Nel menu di navigazione, fai clic su Integrazioni.
Viene visualizzata la pagina Elenco integrazioni, che elenca tutte le integrazioni disponibili nel progetto Google Cloud.
Seleziona un'integrazione esistente o fai clic su Crea integrazione per crearne una nuova.
Se stai creando una nuova integrazione:
1. Inserisci un nome e una descrizione nel riquadro Crea integrazione.
2. Seleziona una regione per l'integrazione.
  Nota:il menu a discesa Regioni elenca solo le regioni di cui è stato eseguito il provisioning nel tuo progetto Google Cloud. Per eseguire il provisioning di una nuova regione, fai clic su Attiva regione. Per ulteriori informazioni, consulta Attivare una nuova regione.
3. Seleziona un account di servizio per l'integrazione. Puoi modificare o aggiornare i dettagli dell'account di servizio di un'integrazione in qualsiasi momento dal riquadro Riepilogo integrazione nella barra degli strumenti dell'integrazione.
  Nota:l'opzione per selezionare un account di servizio viene visualizzata solo se hai attivato la governance dell'integrazione per la regione selezionata.
4. Fai clic su Crea.
L'integrazione appena creata si apre nell'editor integrazioni.
Nella barra di navigazione dell'editor dell'integrazione, fai clic su Attivatori per visualizzare l'elenco degli attivatori disponibili.
Fai clic sull'elemento Trigger Apache Kafka e posizionalo nell'Editor integrazioni.

Per configurare il trigger Apache Kafka, puoi utilizzare una connessione Apache Kafka esistente disponibile in Integration Connectors o crearne una nuova utilizzando l'opzione di creazione della connessione inline.

Configura il trigger Apache Kafka utilizzando una connessione esistente

Puoi configurare il trigger Apache Kafka utilizzando una connessione Apache Kafka esistente in Integration Connectors. Tieni presente che l'attivatore Apache Kafka è un attivatore di eventi connettore, pertanto puoi utilizzare solo una connessione Apache Kafka con l'iscrizione agli eventi abilitata per configurare l'attivatore.

Per informazioni su come configurare un trigger Apache Kafka utilizzando una nuova connessione Apache Kafka, consulta Configurare il trigger Apache Kafka utilizzando una nuova connessione.

Per configurare un trigger Apache Kafka utilizzando una connessione Apache Kafka esistente:

Fai clic sull'elemento Trigger Apache Kafka nell'Editor integrazioni per aprire il riquadro di configurazione del trigger.
Fai clic su Configura trigger.
Fornisci i seguenti dettagli di configurazione nella pagina Editor attivatore eventi connettore:
1. Regione:seleziona la regione della connessione Apache Kafka.
2. Connessione:seleziona la connessione Apache Kafka che vuoi utilizzare.
  Application Integration mostra solo le connessioni Apache Kafka attive e con una sottoscrizione di eventi abilitata.
3. Nome dell'argomento: inserisci il nome dell'argomento.
4. ID gruppo di consumer: se vuoi, inserisci l'ID gruppo di consumer che specifica il nome del gruppo di consumer a cui appartiene il consumer Kafka.
5. Partizione: inserisci la partizione se vuoi abbonarti a una partizione specifica. Le partizioni sono un modo per suddividere un argomento in più parti e archiviare ogni parte su un nodo diverso del cluster.
6. Offset iniziale: seleziona la strategia di ripristino dell'offset:
  - Se selezioni earliest, la connessione utilizza i messaggi non utilizzati, inclusi quelli prodotti prima della durata del gruppo di consumatori.
  - Se selezioni latest, la connessione utilizza i messaggi prodotti dopo la creazione del gruppo di consumatori.
7. Service account: seleziona un account di servizio con i ruoli IAM richiesti per il trigger Apache Kafka.
Fai clic su Fine.

Configura il trigger Apache Kafka utilizzando una nuova connessione

Per configurare il trigger Apache Kafka utilizzando una nuova connessione Apache Kafka, segui questi passaggi:

Fai clic sull'elemento Trigger Apache Kafka nell'Editor integrazioni per aprire il riquadro di configurazione del trigger.
Fai clic su Configura trigger Apache Kafka.
Ignora il campo Regione.
Fai clic su Connessione e seleziona l'opzione Crea connessione dall'elenco. Viene visualizzato il riquadro Crea connessione.
Nel passaggio Posizione, scegli la posizione per la nuova connessione Apache Kafka:
1. Regione:seleziona una regione dall'elenco.
2. Fai clic su Avanti.
Nel passaggio Dettagli della connessione, fornisci i dettagli della nuova connessione Apache Kafka:
1. Versione del connettore:scegli una versione disponibile del connettore Apache Kafka dall'elenco.
2. Nome connessione:inserisci un nome per la connessione Apache Kafka.
  Nota:i nomi delle connessioni devono soddisfare i seguenti criteri:
  - I nomi delle connessioni possono contenere lettere, numeri o trattini.
  - Le lettere devono essere minuscole.
  - I nomi delle connessioni devono iniziare con una lettera e terminare con una lettera o un numero.
  - I nomi delle connessioni non possono contenere più di 49 caratteri.
  - Per i connettori che supportano la sottoscrizione agli eventi, i nomi delle connessioni non possono iniziare con il prefisso "goog".
3. (Facoltativo) Descrizione : inserisci una descrizione per la connessione.
4. (Facoltativo) Attiva Cloud Logging:seleziona questa casella di controllo per archiviare tutti i dati di log della connessione.
5. Service account: seleziona un account di servizio con i ruoli IAM richiesti per la connessione Apache Kafka.
6. L'opzione Abilita sottoscrizioni, entità e azioni per l'evento è selezionata per impostazione predefinita per la connessione Apache Kafka.
  Nota: questo connettore non supporta l'opzione Enable only event subscription.
7. Type Detection Scheme (Schema di rilevamento del tipo) : seleziona MessageOnly.
8. Servizio di registro: il servizio Schema Registry utilizzato per lavorare con gli schemi degli argomenti.
9. Tipo di registro: tipo di schema specificato per un argomento specifico.
10. Registry Version: versione dello schema letto da RegistryUrl per l'argomento specificato.
11. Utente del registro: valore del nome utente o della chiave di accesso per l'autorizzazione con il server specificato in RegistryUrl.
12. Password del registro: secret di Secret Manager contenente il valore della password/chiave segreta per l'autorizzazione con il server specificato in RegistryUrl.
13. (Facoltativo) Configura le impostazioni del nodo di connessione:
  - Numero minimo di nodi: inserisci il numero minimo di nodi di connessione.
  - Numero massimo di nodi: inserisci il numero massimo di nodi di connessione.
  Un nodo è un'unità (o una replica) di una connessione che elabora le transazioni. Sono necessari più nodi per elaborare più transazioni per una connessione e, viceversa, sono necessari meno nodi per elaborare meno transazioni. Per capire in che modo i nodi influiscono sui prezzi dei connettori, consulta la sezione Prezzi dei nodi di connessione. Se non inserisci alcun valore, per impostazione predefinita i nodi minimi sono impostati su 2 (per una migliore disponibilità) e i nodi massimi su 50.
14. (Facoltativo) Fai clic su + AGGIUNGI ETICHETTA per aggiungere un'etichetta alla connessione sotto forma di coppia chiave-valore.
15. Abilita SSL: questo campo imposta se SSL è abilitato.
16. Fai clic su Avanti.
Nella sezione Destinazioni, inserisci i dettagli del server di bootstrap Kafka a cui vuoi connetterti.
1. Tipo di destinazione: seleziona un Tipo di destinazione.
  - Per specificare il nome host o l'indirizzo IP di destinazione, seleziona Indirizzo host e inserisci l'indirizzo nel campo Host 1.
  - Per stabilire una connessione privata, seleziona Collegamento endpoint e scegli il collegamento richiesto dall'elenco Collegamento endpoint.
    Nota: per capire come creare un collegamento endpoint, consulta Collegamento del servizio PSC e Collegamento endpoint. Dopo aver creato il collegamento dell'endpoint, questo sarà visibile nell'elenco Collegamento dell'endpoint.
  Se vuoi stabilire una connessione pubblica ai tuoi sistemi di backend con maggiore sicurezza, puoi valutare la possibilità di configurare indirizzi IP statici in uscita per le tue connessioni e poi configurare le regole del firewall in modo da consentire solo gli indirizzi IP statici specifici.
  
  Per specificare altri server di bootstrap Kafka, fai clic su + AGGIUNGI DESTINAZIONE.
2. Fai clic su Avanti.
Nella sezione Autenticazione, inserisci i dettagli di autenticazione.
1. Seleziona un Tipo di autenticazione e inserisci i dettagli pertinenti.
  La connessione Apache Kafka supporta i seguenti tipi di autenticazione:
  - Nome utente e password
    - Nome utente: il nome utente Apache Kafka da utilizzare per la connessione.
    - Password: secret di Secret Manager contenente la password associata al nome utente Apache Kafka.
    - Schema di autenticazione: lo schema utilizzato per l'autenticazione.
      La connessione Apache Kafka supporta i seguenti schemi di autenticazione:
      - Semplice
      - SCRAM-SHA-1
      - SCRAM-SHA-256
  - Non disponibile
    Se vuoi utilizzare l'accesso anonimo, seleziona Non disponibile.
2. Fai clic su Avanti.
Inserisci la configurazione della coda di messaggi non recapitabili. Se configuri la coda dei messaggi non recapitabili, la connessione scrive gli eventi non elaborati nell'argomento Pub/Sub specificato. Inserisci i seguenti dettagli:
1. ID progetto messaggi non recapitabili : l'ID progetto Google Cloud in cui hai configurato l'argomento Pub/Sub messaggi non recapitabili.
2. Argomento messaggi non recapitabili : l'argomento Pub/Sub in cui vuoi scrivere i dettagli dell'evento non elaborato.
Fai clic su Avanti.
Rivedi: rivedi i dettagli di connessione e autenticazione.
Fai clic su Crea.

Output trigger

L'attivatore Apache Kafka richiede un paio di minuti per completare la configurazione della sottoscrizione agli eventi. Puoi visualizzare lo stato dell'iscrizione all'evento nel riquadro di configurazione del trigger in Dettagli iscrizione all'evento.

Il trigger Apache Kafka indica lo stato di un abbonamento agli eventi utilizzando i seguenti stati:

Creating: indica che il trigger è l'iscrizione all'abbonamento all'evento.
Active: indica che l'attivatore è stato iscritto correttamente a un abbonamento agli eventi.
Error: indica che si è verificato un problema con l'abbonamento agli eventi configurato.

Oltre allo stato dell'iscrizione all'evento, la sezione Dettagli iscrizione all'evento mostra anche altri dettagli, come la regione della connessione, il nome della connessione e il nome dell'iscrizione all'evento.

Variabile di output del trigger

Per ogni evento, il trigger Apache Kafka genera una variabile di output ConnectorEventPayload (in formato JSON) che puoi utilizzare nelle attività downstream. La variabile di output conterrà il payload dell'evento Apache Kafka. Ad esempio:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Visualizzare le iscrizioni agli eventi

Per visualizzare e gestire tutti gli abbonamenti agli eventi associati a una connessione in Integration Connectors:

Vai alla pagina Integration Connectors > Connections (Connettori di integrazione > Connessioni).
Vai alla pagina Connessioni
Fai clic sulla connessione per cui vuoi visualizzare gli abbonamenti.
Fai clic sulla scheda Abbonamenti agli eventi.
Vengono visualizzate tutte le iscrizioni agli eventi per la connessione.

Modifica trigger Apache Kafka

Puoi modificare un trigger Apache Kafka per cambiare o aggiornare la configurazione della connessione e i dettagli dell'iscrizione agli eventi.

Per modificare un trigger Apache Kafka:

Fai clic sull'elemento Trigger Apache Kafka nell'Editor integrazioni per aprire il riquadro di configurazione del trigger.
Fai clic su Configura trigger Apache Kafka.
Nella pagina Editor trigger evento connettore, procedi nel seguente modo:
1. Per mantenere l'abbonamento agli eventi configurato in precedenza, fai clic su Mantieni, altrimenti fai clic su Elimina.
  Avviso:l'eliminazione di una sottoscrizione agli eventi influirà su tutte le integrazioni pubblicate che la utilizzano. Questa attività non può essere annullata.
2. Aggiorna la configurazione della connessione e i dettagli dell'iscrizione agli eventi in base alle tue preferenze.
3. Fai clic su Fine.

Puoi visualizzare i dettagli aggiornati della connessione e della sottoscrizione agli eventi nel riquadro di configurazione del trigger in Dettagli sottoscrizione agli eventi.

Quote e limiti

Per informazioni su quote e limiti, consulta Quote e limiti.

Passaggi successivi

Scopri di più su tutte le attività e tutti gli attivatori.
Scopri come testare e pubblicare un'integrazione .

Scopri di più sulla gestione degli errori.
Scopri di più sui log di esecuzione dell'integrazione.