Questo documento spiega come creare un argomento Pub/Sub con Single Message Transforms (SMT).
Le SMT degli argomenti consentono modifiche leggere ai dati e agli attributi dei messaggi direttamente in Pub/Sub. Questa funzionalità consente la pulizia, il filtraggio o la conversione del formato dei dati prima che i messaggi vengano pubblicati nell'argomento.
Per creare un argomento con SMT, puoi utilizzare la Google Cloud console, Google Cloud CLI, la libreria client o l'API Pub/Sub.
Prima di iniziare
Scopri di più sul servizio Pub/Sub e sulla sua terminologia.
Scopri di più sulle SMT.
Ruoli e autorizzazioni richiesti
Per ottenere le autorizzazioni
necessarie per creare un argomento con SMT,
chiedi all'amministratore di concederti il ruolo IAM
Pub/Sub Editor (roles/pubsub.editor
)
nel tuo progetto.
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un argomento con SMT. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per creare un argomento con SMT sono necessarie le seguenti autorizzazioni:
-
Concedi l'autorizzazione per creare un argomento sul progetto:
pubsub.topics.create
Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.
Puoi configurare il controllo dell'accesso a livello di progetto e a livello di singola risorsa.
Crea un argomento con SMT
Prima di creare un argomento con SMT, consulta la documentazione relativa alle proprietà di un argomento.
I seguenti esempi presuppongono che tu voglia creare un argomento con questa trasformazione strutturata (SMT) della funzione definita dall'utente. Per saperne di più sulle UDF, consulta la panoramica delle UDF.
function redactSSN(message, metadata) {
const data = JSON.parse(message.data);
delete data['ssn'];
message.data = JSON.stringify(data);
return message;
}
Console
Nella console Google Cloud , vai alla pagina Argomenti di Pub/Sub.
-
Fai clic su Crea argomento.
Viene visualizzata la pagina Crea argomento.
-
Nel campo ID argomento, inserisci un ID per l'argomento. Per ulteriori informazioni sulla denominazione degli argomenti, consulta le linee guida per la denominazione.
-
In Trasformazioni, fai clic su Aggiungi una trasformazione.
-
Inserisci un nome di funzione. Ad esempio:
redactSSN
. -
Se non vuoi utilizzare la SMT con l'argomento immediatamente, fai clic sull'opzione Disattiva trasformazione. In questo modo la SMT verrà comunque salvata, ma non verrà eseguita man mano che i messaggi scorrono nell'argomento.
-
Inserisci una nuova trasformazione. Ad esempio:
function redactSSN(message, metadata) { const data = JSON.parse(message.data); delete data['ssn']; message.data = JSON.stringify(data); return message; }
-
Pub/Sub fornisce una funzione di convalida che consente di convalidare un SMT. Fai clic su Convalida per convalidare la trasformazione.
-
Se vuoi aggiungere un'altra trasformazione, fai clic su Aggiungi una trasformazione.
- Per disporre tutti gli SMT in un ordine specifico, puoi utilizzare le frecce su e giù. Per rimuovere un SMT, fai clic sul pulsante di eliminazione.
-
Pub/Sub fornisce una funzione di test che consente di controllare il risultato dell'esecuzione di SMT su un messaggio di esempio. Per testare le SMT, fai clic su Testa trasformazione.
-
Nella finestra Testa trasformazione, seleziona la funzione che vuoi testare.
-
Nella finestra Messaggio di input, inserisci un messaggio di esempio.
-
Se vuoi aggiungere attributi del messaggio, fai clic su Aggiungi un attributo e inserisci una o più coppie chiave-valore.
-
Fai clic su Test. Viene visualizzato il risultato dell'applicazione delle SMT al messaggio.
-
Chiudi la finestra per interrompere il test delle SMT sui messaggi di esempio.
-
Fai clic su Crea per creare l'argomento.
gcloud
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
-
Pub/Sub fornisce una funzione di convalida che consente di convalidare un SMT. Esegui il comando
gcloud pubsub message-transforms validate
:gcloud pubsub message-transforms validate --message-transform-file=TRANSFORM_FILE
Sostituisci quanto segue:
-
TRANSFORM_FILE: il percorso del file YAML o JSON contenente un singolo SMT.
Ecco un esempio di file di trasformazione YAML:
javascriptUdf: code: > function redactSSN(message, metadata) { const data = JSON.parse(message.data); delete data['ssn']; message.data = JSON.stringify(data); return message; } functionName: redactSSN
-
-
Pub/Sub fornisce una funzione di test che consente di controllare il risultato dell'esecuzione di una o più SMT su un messaggio di esempio. Esegui il comando
gcloud pubsub message-transforms test
:gcloud pubsub message-transforms test --message-transforms-file=TRANSFORMS_FILE --message=MESSAGE --attributes=ATTRIBUTES
Sostituisci quanto segue:
-
TRANSFORMS_FILE: il percorso del file YAML o JSON contenente uno o più SMT.
Ecco un esempio di file di trasformazioni YAML:
- javascriptUdf: code: > function redactSSN(message, metadata) { const data = JSON.parse(message.data); delete data['ssn']; message.data = JSON.stringify(data); return message; } functionName: redactSSN
-
MESSAGE: corpo del messaggio con cui testare gli SMT.
-
ATTRIBUTES: Attributi del messaggio con cui testare gli SMT.
-
-
Per creare l'argomento, esegui il comando
gcloud pubsub topics create
:gcloud pubsub topics create TOPIC_ID \ --message-transforms-file=TRANSFORMS_FILE
Sostituisci quanto segue:
-
TOPIC_ID: l'ID o il nome dell'argomento che vuoi creare. Per le linee guida su come denominare un argomento, consulta Nomi delle risorse. Il nome di un argomento è immutabile.
-
TRANSFORMS_FILE: Il percorso del file YAML o JSON contenente uno o più SMT.
Ecco un esempio di file di trasformazioni YAML:
- javascriptUdf: code: > function redactSSN(message, metadata) { const data = JSON.parse(message.data); delete data['ssn']; message.data = JSON.stringify(data); return message; } functionName: redactSSN
-
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java nella guida rapida di Pub/Sub per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Pub/Sub Java.
Per eseguire l'autenticazione in Pub/Sub, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python nella guida rapida di Pub/Sub per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Pub/Sub Python.
Per eseguire l'autenticazione in Pub/Sub, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Go
Prima di provare questo esempio, segui le istruzioni di configurazione di Go nella guida rapida di Pub/Sub per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Pub/Sub Go.
Per eseguire l'autenticazione in Pub/Sub, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.