Questa pagina è stata tradotta dall'API Cloud Translation.

Unione dei flussi di dati con Dataflow SQL

Questo tutorial mostra come utilizzare Dataflow SQL per unire un flusso di dati da Pub/Sub con i dati di una tabella BigQuery.

Obiettivi

In questo tutorial:

Scrivi una query Dataflow SQL che unisce i dati di streaming Pub/Sub con i dati della tabella BigQuery.
Esegui il deployment di un job Dataflow dall'interfaccia utente di Dataflow SQL.

Costi

In questo documento, utilizzi i seguenti componenti fatturabili di Google Cloud:

Dataflow
Cloud Storage
Pub/Sub
Data Catalog

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

I nuovi Google Cloud utenti potrebbero avere diritto a una prova gratuita.

Prima di iniziare

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Cloud Dataflow, Compute Engine, Logging, Cloud Storage, Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Resource Manager and Data Catalog. APIs.

Enable the APIs

Create a service account:

In the Google Cloud console, go to the Create service account page.
Go to Create service account
Select your project.
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

In the Service account description field, enter a description. For example, Service account for quickstart.
Click Create and continue.
Grant the Project > Owner role to the service account.

To grant the role, find the Select a role list, then select Project > Owner.

Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
Click Continue.
Click Done to finish creating the service account.

Do not close your browser window. You will use it in the next step.

Create a service account key:

In the Google Cloud console, click the email address for the service account that you created.
Click Keys.
Click Add key, and then click Create new key.
Click Create. A JSON key file is downloaded to your computer.
Click Close.

Set the environment variable GOOGLE_APPLICATION_CREDENTIALS to the path of the JSON file that contains your credentials. This variable applies only to your current shell session, so if you open a new session, set the variable again.

Example: Linux or macOS

export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

Replace KEY_PATH with the path of the JSON file that contains your credentials.

For example:

export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

Example: Windows

For PowerShell:

$env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

Replace KEY_PATH with the path of the JSON file that contains your credentials.

For example:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

For command prompt:

set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

Replace KEY_PATH with the path of the JSON file that contains your credentials.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Cloud Dataflow, Compute Engine, Logging, Cloud Storage, Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Resource Manager and Data Catalog. APIs.

Enable the APIs

Create a service account:

In the Google Cloud console, go to the Create service account page.
Go to Create service account
Select your project.
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

In the Service account description field, enter a description. For example, Service account for quickstart.
Click Create and continue.
Grant the Project > Owner role to the service account.

To grant the role, find the Select a role list, then select Project > Owner.

Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
Click Continue.
Click Done to finish creating the service account.

Do not close your browser window. You will use it in the next step.

Create a service account key:

In the Google Cloud console, click the email address for the service account that you created.
Click Keys.
Click Add key, and then click Create new key.
Click Create. A JSON key file is downloaded to your computer.
Click Close.

Example: Linux or macOS

export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

Replace KEY_PATH with the path of the JSON file that contains your credentials.

For example:

export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

Example: Windows

For PowerShell:

$env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

Replace KEY_PATH with the path of the JSON file that contains your credentials.

For example:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

For command prompt:

set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

Replace KEY_PATH with the path of the JSON file that contains your credentials.

Installa e inizializza gcloud CLI. Scegli una delle opzioni di installazione. Potresti dover impostare la proprietà project sul progetto che stai utilizzando per questa procedura dettagliata.
Vai all'UI web di Dataflow SQL nella console Google Cloud . In questo modo viene aperto il progetto a cui hai eseguito l'accesso più di recente. Per passare a un altro progetto, fai clic sul nome del progetto in alto nell'interfaccia utente web di Dataflow SQL e cerca il progetto che vuoi utilizzare.
Vai all'interfaccia utente web di Dataflow SQL

Crea origini di esempio

Se vuoi seguire l'esempio fornito in questo tutorial, crea le seguenti origini e utilizzale nei passaggi del tutorial.

Un argomento Pub/Sub denominato transactions: un flusso di dati delle transazioni che arrivano tramite una sottoscrizione all'argomento Pub/Sub. I dati di ogni transazione includono informazioni come il prodotto acquistato, il prezzo di vendita e la città e la provincia in cui è stato effettuato l'acquisto. Dopo aver creato l'argomento Pub/Sub, crea uno script che pubblica i messaggi nell'argomento. Eseguirai questo script in una sezione successiva di questo tutorial.
Una tabella BigQuery denominata us_state_salesregions: una tabella che fornisce una mappatura degli stati alle regioni di vendita. Prima di creare questa tabella, devi creare un set di dati BigQuery.

Crea un argomento Pub/Sub e uno script del publisher

Utilizza Google Cloud CLI per creare l'argomento Pub/Sub. Assegna un nome all'argomento transactions.
```
gcloud pubsub topics create transactions
```

Crea uno script Python che pubblica i messaggi nell'argomento Pub/Sub. Se non hai installato Python, devi installarlo. Esegui questo script in una finestra della riga di comando appena prima di eseguire la query SQL.

Crea un file di testo e chiamalo transactions_injector.py.

Copia e incolla il seguente codice in transactions_injector.py. Sostituisci project-id con l'ID progetto.

#!/usr/bin/env python

import datetime, json, os, random, time

# Set the `project` variable to a Google Cloud project ID.
project = 'project-id'

FIRST_NAMES = ['Monet', 'Julia', 'Angelique', 'Stephane', 'Allan', 'Ulrike', 'Vella', 'Melia',
    'Noel', 'Terrence', 'Leigh', 'Rubin', 'Tanja', 'Shirlene', 'Deidre', 'Dorthy', 'Leighann',
    'Mamie', 'Gabriella', 'Tanika', 'Kennith', 'Merilyn', 'Tonda', 'Adolfo', 'Von', 'Agnus',
    'Kieth', 'Lisette', 'Hui', 'Lilliana',]
CITIES = ['Washington', 'Springfield', 'Franklin', 'Greenville', 'Bristol', 'Fairview', 'Salem',
    'Madison', 'Georgetown', 'Arlington', 'Ashland',]
STATES = ['MO','SC','IN','CA','IA','DE','ID','AK','NE','VA','PR','IL','ND','OK','VT','DC','CO','MS',
    'CT','ME','MN','NV','HI','MT','PA','SD','WA','NJ','NC','WV','AL','AR','FL','NM','KY','GA','MA',
    'KS','VI','MI','UT','AZ','WI','RI','NY','TN','OH','TX','AS','MD','OR','MP','LA','WY','GU','NH']
PRODUCTS = ['Product 2', 'Product 2 XL', 'Product 3', 'Product 3 XL', 'Product 4', 'Product 4 XL', 'Product 5',
    'Product 5 XL',]

while True:
  first_name, last_name = random.sample(FIRST_NAMES, 2)
  data = {
    'tr_time_str': datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S"),
    'first_name': first_name,
    'last_name': last_name,
    'city': random.choice(CITIES),
    'state':random.choice(STATES),
    'product': random.choice(PRODUCTS),
    'amount': float(random.randrange(50000, 70000)) / 100,
  }

  # For a more complete example on how to publish messages in Pub/Sub.
  #   https://cloud.google.com/pubsub/docs/publisher
  message = json.dumps(data)
  command = "gcloud --project={} pubsub topics publish transactions --message='{}'".format(project, message)
  print(command)
  os.system(command)
  time.sleep(random.randrange(1, 5))

Creare un set di dati e una tabella BigQuery

Nella UI web di BigQuery, crea un set di dati BigQuery. Un set di dati BigQuery è un container di primo livello utilizzato per contenere le tabelle. Le tabelle BigQuery devono appartenere a un set di dati.
1. Nel riquadro Explorer, apri le azioni per il tuo progetto. Nel menu, fai clic su Crea set di dati. Nello screenshot seguente, l'ID progetto è dataflow-sql.
2. Nel riquadro Crea set di dati che si apre, in ID set di dati, inserisci dataflow_sql_tutorial.
3. Per Località dei dati, seleziona un'opzione dal menu.
4. Fai clic su Crea set di dati.

Crea una tabella BigQuery.

Crea un file di testo e chiamalo us_state_salesregions.csv.

Copia e incolla i seguenti dati in us_state_salesregions.csv. Nei passaggi successivi caricherai questi dati nella tabella BigQuery.

state_id,state_code,state_name,sales_region
1,MO,Missouri,Region_1
2,SC,South Carolina,Region_1
3,IN,Indiana,Region_1
6,DE,Delaware,Region_2
15,VT,Vermont,Region_2
16,DC,District of Columbia,Region_2
19,CT,Connecticut,Region_2
20,ME,Maine,Region_2
35,PA,Pennsylvania,Region_2
38,NJ,New Jersey,Region_2
47,MA,Massachusetts,Region_2
54,RI,Rhode Island,Region_2
55,NY,New York,Region_2
60,MD,Maryland,Region_2
66,NH,New Hampshire,Region_2
4,CA,California,Region_3
8,AK,Alaska,Region_3
37,WA,Washington,Region_3
61,OR,Oregon,Region_3
33,HI,Hawaii,Region_4
59,AS,American Samoa,Region_4
65,GU,Guam,Region_4
5,IA,Iowa,Region_5
32,NV,Nevada,Region_5
11,PR,Puerto Rico,Region_6
17,CO,Colorado,Region_6
18,MS,Mississippi,Region_6
41,AL,Alabama,Region_6
42,AR,Arkansas,Region_6
43,FL,Florida,Region_6
44,NM,New Mexico,Region_6
46,GA,Georgia,Region_6
48,KS,Kansas,Region_6
52,AZ,Arizona,Region_6
56,TN,Tennessee,Region_6
58,TX,Texas,Region_6
63,LA,Louisiana,Region_6
7,ID,Idaho,Region_7
12,IL,Illinois,Region_7
13,ND,North Dakota,Region_7
31,MN,Minnesota,Region_7
34,MT,Montana,Region_7
36,SD,South Dakota,Region_7
50,MI,Michigan,Region_7
51,UT,Utah,Region_7
64,WY,Wyoming,Region_7
9,NE,Nebraska,Region_8
10,VA,Virginia,Region_8
14,OK,Oklahoma,Region_8
39,NC,North Carolina,Region_8
40,WV,West Virginia,Region_8
45,KY,Kentucky,Region_8
53,WI,Wisconsin,Region_8
57,OH,Ohio,Region_8
49,VI,United States Virgin Islands,Region_9
62,MP,Commonwealth of the Northern Mariana Islands,Region_9

Nel riquadro Explorer della UI di BigQuery, espandi il progetto per visualizzare il set di dati dataflow_sql_tutorial.
Apri il menu delle azioni per il set di dati dataflow_sql_tutorial e fai clic su Apri.
Fai clic su Crea tabella.
Nel riquadro Crea tabella che si apre:
1. In Crea tabella da, seleziona Carica.
2. Per Seleziona file, fai clic su Sfoglia e scegli il file us_state_salesregions.csv.
3. In Tabella, inserisci us_state_salesregions.
4. In Schema, seleziona Rilevamento automatico.
5. Fai clic su Opzioni avanzate per espandere la sezione Opzioni avanzate.
6. Per Righe di intestazione da ignorare, inserisci 1 e poi fai clic su Crea tabella.
Nel riquadro Explorer, fai clic su us_state_salesregions. In Schema, puoi visualizzare lo schema generato automaticamente. In Anteprima puoi visualizzare i dati della tabella.

Assegna uno schema all'argomento Pub/Sub

L'assegnazione di uno schema consente di eseguire query SQL sui dati dell'argomento Pub/Sub. Al momento, Dataflow SQL prevede che i messaggi negli argomenti Pub/Sub vengano serializzati in formato JSON.

Per assegnare uno schema all'argomento Pub/Sub di esempio transactions:

Crea un file di testo e chiamalo transactions_schema.yaml. Copia e incolla il seguente testo dello schema in transactions_schema.yaml.

  - column: event_timestamp
    description: Pub/Sub event timestamp
    mode: REQUIRED
    type: TIMESTAMP
  - column: tr_time_str
    description: Transaction time string
    mode: NULLABLE
    type: STRING
  - column: first_name
    description: First name
    mode: NULLABLE
    type: STRING
  - column: last_name
    description: Last name
    mode: NULLABLE
    type: STRING
  - column: city
    description: City
    mode: NULLABLE
    type: STRING
  - column: state
    description: State
    mode: NULLABLE
    type: STRING
  - column: product
    description: Product
    mode: NULLABLE
    type: STRING
  - column: amount
    description: Amount of transaction
    mode: NULLABLE
    type: FLOAT

Assegna lo schema utilizzando Google Cloud CLI.

a. Aggiorna gcloud CLI con il seguente comando. Assicurati che la versione di gcloud CLI sia 242.0.0 o successive.
```
  gcloud components update
```
b. Esegui il seguente comando in una finestra della riga di comando. Sostituisci project-id con l'ID progetto e path-to-file con il percorso del file transactions_schema.yaml.
```
  gcloud data-catalog entries update \
    --lookup-entry='pubsub.topic.`project-id`.transactions' \
    --schema-from-file=path-to-file/transactions_schema.yaml
```
Per ulteriori informazioni sui parametri del comando e sui formati di file di schema consentiti, consulta la pagina della documentazione di gcloud data-catalog entries update.

Nota:devi utilizzare ` per eseguire l'escape dei caratteri speciali nell'ID progetto.

c. Verifica che lo schema sia stato assegnato correttamente all'argomento Pub/Sub transactions. Sostituisci project-id con l'ID progetto.
```
  gcloud data-catalog entries lookup 'pubsub.topic.`project-id`.transactions'
```

Trovare le origini Pub/Sub

L'interfaccia utente di Dataflow SQL consente di trovare gli oggetti di origine dati Pub/Sub per qualsiasi progetto a cui hai accesso, in modo da non dover ricordare i loro nomi completi.

Per l'esempio in questo tutorial, vai all'editor Dataflow SQL e cerca l'argomento Pub/Sub transactions che hai creato:

Vai a SQL Workspace.
Nel riquadro Editor Dataflow SQL, nella barra di ricerca, cerca projectid=project-id transactions. Sostituisci project-id con l'ID progetto.

Visualizzare lo schema

Nel riquadro Editor Dataflow SQL dell'interfaccia utente di Dataflow SQL, fai clic su transactions o cerca un argomento Pub/Sub digitando projectid=project-id system=cloud_pubsub e seleziona l'argomento.
In Schema, puoi visualizzare lo schema che hai assegnato all'argomento Pub/Sub.

Crea una query SQL

L'interfaccia utente di Dataflow SQL ti consente di creare query SQL per eseguire i job Dataflow.

La seguente query SQL è una query di arricchimento dei dati. Aggiunge un campo aggiuntivo,sales_region, al flusso di eventi Pub/Sub (transactions), utilizzando una tabella BigQuery (us_state_salesregions) che mappa gli stati alle regioni di vendita.

Copia e incolla la seguente query SQL nell'Editor query. Sostituisci project-id con l'ID progetto.

SELECT tr.*, sr.sales_region
FROM pubsub.topic.`project-id`.transactions as tr
  INNER JOIN bigquery.table.`project-id`.dataflow_sql_tutorial.us_state_salesregions AS sr
  ON tr.state = sr.state_code

Quando inserisci una query nell'interfaccia utente di Dataflow SQL, lo strumento di convalida verifica la sintassi della query. Se la query è valida, viene visualizzata un'icona con un segno di spunta verde. Se la query non è valida, viene visualizzata un'icona rossa con punto esclamativo. Se la sintassi della query non è valida, facendo clic sull'icona dello strumento di convalida vengono fornite informazioni su cosa devi correggere.

Lo screenshot seguente mostra la query valida nell'Editor di query. Il validatore mostra un segno di spunta verde.

Workspace Dataflow SQL con la query del tutorial visibile nell'editor.

Crea un job Dataflow per eseguire la query SQL

Per eseguire la query SQL, crea un job Dataflow dall'interfaccia utente di Dataflow SQL.

Nell'editor query, fai clic su Crea job.
Nel riquadro Crea job Dataflow che si apre:
- Per Destinazione, seleziona BigQuery.
- In ID set di dati, seleziona dataflow_sql_tutorial.
- In Nome tabella, inserisci sales.
(Facoltativo) Dataflow sceglie automaticamente le impostazioni ottimali per il job Dataflow SQL, ma puoi espandere il menu Parametri facoltativi per specificare manualmente le seguenti opzioni della pipeline:
- Numero massimo di worker
- Zona
- Email dell'account di servizio
- Tipo di macchina
- Esperimenti aggiuntivi
- Configurazione dell'indirizzo IP del worker
- Rete
- Subnet
Fai clic su Crea. L'avvio del job Dataflow richiede alcuni minuti.

Visualizza il job Dataflow

Dataflow trasforma la query SQL in una pipeline Apache Beam. Fai clic su Visualizza job per aprire l'interfaccia utente web di Dataflow, dove puoi vedere una rappresentazione grafica della pipeline.

Pipeline dalla query SQL mostrata nell'interfaccia utente web di Dataflow.

Per visualizzare una suddivisione delle trasformazioni che si verificano nella pipeline, fai clic sulle caselle. Ad esempio, se fai clic sulla prima casella nella rappresentazione grafica, etichettata Esegui query SQL, viene visualizzato un grafico che mostra le operazioni che avvengono in background.

Le prime due caselle rappresentano i due input uniti: l'argomento Pub/Sub, transactions, e la tabella BigQuery, us_state_salesregions.

La scrittura dell'output di un join di due input viene completata in 25 secondi.

Per visualizzare la tabella di output contenente i risultati del job, vai all'interfaccia utente BigQuery. Nel riquadro Explorer, nel tuo progetto, fai clic sul set di dati dataflow_sql_tutorial che hai creato. poi fai clic sulla tabella di output, sales. La scheda Anteprima mostra i contenuti della tabella di output.

La tabella di anteprima delle vendite contiene colonne per tr_time_str, first_name, last_name, city, state, product, amount e sales_region.

Visualizzare i job passati e modificare le query

L'interfaccia utente di Dataflow archivia i job e le query precedenti nella pagina Job di Dataflow.

Puoi utilizzare l'elenco della cronologia dei job per visualizzare le query SQL precedenti. Ad esempio, vuoi modificare la query per aggregare le vendite per regione di vendita ogni 15 secondi. Utilizza la pagina Job per accedere al job in esecuzione che hai avviato in precedenza nel tutorial, copia la query SQL ed esegui un altro job con una query modificata.

Nella pagina Job di Dataflow, fai clic sul job che vuoi modificare.
Nella pagina Dettagli job, nel riquadro Informazioni job, individua la query SQL nella sezione Opzioni pipeline. Trova la riga relativa a queryString.

Copia e incolla la seguente query SQL nell'editor Dataflow SQL in SQL Workspace per aggiungere finestre temporali. Sostituisci project-id con l'ID progetto.

 SELECT
   sr.sales_region,
   TUMBLE_START("INTERVAL 15 SECOND") AS period_start,
   SUM(tr.amount) as amount
 FROM pubsub.topic.`project-id`.transactions AS tr
   INNER JOIN bigquery.table.`project-id`.dataflow_sql_tutorial.us_state_salesregions AS sr
   ON tr.state = sr.state_code
 GROUP BY
   sr.sales_region,
   TUMBLE(tr.event_timestamp, "INTERVAL 15 SECOND")

Fai clic su Crea job per creare un nuovo job con la query modificata.

Esegui la pulizia

Per evitare che al tuo account di fatturazione Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial:

Interrompi lo script di pubblicazione di transactions_injector.py se è ancora in esecuzione.
Interrompi i job Dataflow in esecuzione. Vai all'UI web di Dataflow nella console Google Cloud .

Vai all'interfaccia utente web di Dataflow

Per ogni job creato seguendo questa procedura dettagliata, segui questi passaggi:
1. Fai clic sul nome del job.
2. Nella pagina Dettagli job, fai clic su Interrompi. Viene visualizzata la finestra di dialogo Interrompi job con le opzioni per interrompere il job.
3. Seleziona Annulla.
4. Fai clic su Interrompi job. Il servizio interrompe tutte le operazioni di importazione ed elaborazione dei dati il prima possibile. Poiché Annulla interrompe immediatamente l'elaborazione, potresti perdere i dati "in transito". L'arresto di un job potrebbe richiedere alcuni minuti.
Elimina il set di dati BigQuery. Vai all'UI web di BigQuery nella console Google Cloud .

Vai all'UI web di BigQuery
1. Nel riquadro Explorer, nella sezione Risorse, fai clic sul set di dati dataflow_sql_tutorial che hai creato.
2. Nel riquadro dei dettagli, fai clic su Elimina. Si apre una finestra di dialogo di conferma.
3. Nella finestra di dialogo Elimina set di dati, conferma il comando di eliminazione digitando delete, quindi fai clic su Elimina.
Elimina l'argomento Pub/Sub. Vai alla pagina degli argomenti Pub/Sub nella console Google Cloud .

Vai alla pagina degli argomenti Pub/Sub
1. Seleziona l'argomento transactions.
2. Fai clic su Elimina per eliminare definitivamente l'argomento. Si apre una finestra di dialogo di conferma.
3. Nella finestra di dialogo Elimina argomento, conferma il comando di eliminazione digitando delete, quindi fai clic su Elimina.
4. Vai alla pagina delle sottoscrizioni Pub/Sub.
5. Seleziona gli abbonamenti rimanenti da transactions. Se i job non vengono più eseguiti, potrebbero non essere presenti abbonamenti.
6. Fai clic su Elimina per eliminare definitivamente gli abbonamenti. Nella finestra di dialogo di conferma, fai clic su Elimina.
Elimina il bucket di staging Dataflow in Cloud Storage. Vai alla pagina Bucket di Cloud Storage nella console Google Cloud .

Vai a Bucket
1. Seleziona il bucket di staging di Dataflow.
2. Fai clic su Elimina per eliminare definitivamente il bucket. Si apre una finestra di dialogo di conferma.
3. Nella finestra di dialogo Elimina bucket, conferma il comando di eliminazione digitando DELETE, quindi fai clic su Elimina.

Passaggi successivi

Consulta un'introduzione a Dataflow SQL.
Scopri di più sulle nozioni di base sulla pipeline streaming.
Esplora il riferimento SQL di Dataflow.
Guarda la demo dell'analisi dei flussi di dati presentata a Cloud Next 2019.

Unione dei flussi di dati con Dataflow SQL Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Obiettivi

Costi

Prima di iniziare

Crea origini di esempio

Crea un argomento Pub/Sub e uno script del publisher

Creare un set di dati e una tabella BigQuery

Assegna uno schema all'argomento Pub/Sub

Trovare le origini Pub/Sub

Visualizzare lo schema

Crea una query SQL

Crea un job Dataflow per eseguire la query SQL

Visualizza il job Dataflow

Visualizzare i job passati e modificare le query

Esegui la pulizia

Passaggi successivi

Unione dei flussi di dati con Dataflow SQL