L'I/O gestito supporta le seguenti funzionalità per BigQuery:
- Creazione di tabelle dinamiche
- Destinazioni dinamiche
- Per le letture, il connettore utilizza l'API BigQuery Storage Read.
Per le scritture, il connettore utilizza i seguenti metodi BigQuery:
- Se l'origine non è delimitata e Dataflow utilizza l'elaborazione di streaming esattamente una volta, il connettore esegue scritture in BigQuery utilizzando l'API BigQuery Storage Write con semantica di invio esattamente una volta.
- Se l'origine non è delimitata e Dataflow utilizza l'elaborazione di streaming almeno una volta, il connettore esegue scritture in BigQuery utilizzando l'API BigQuery Storage Write con semantica di distribuzione almeno una volta.
- Se l'origine è delimitata, il connettore utilizza caricamenti di file BigQuery.
Requisiti
I seguenti SDK supportano I/O gestito per BigQuery:
- Apache Beam SDK per Java versione 2.61.0 o successive
- SDK Apache Beam per Python versione 2.61.0 o successive
Configurazione
| Configurazione di lettura e scrittura | Tipo di dati | Descrizione |
|---|---|---|
table |
string | La tabella BigQuery da leggere o scrivere. Formatta come
"PROJECT.DATASET.TABLE". Esempio:
"my_project.dataset1.table1". |
kms_key |
string | Specifica una chiave Cloud Key Management Service (Cloud KMS) per criptare la tabella BigQuery durante la scrittura o per criptare le tabelle temporanee create durante le letture. |
| Read configuration | Tipo di dati | Descrizione |
fields |
elenco di stringhe | Un elenco di colonne da leggere dalla tabella. Questo parametro consente letture efficienti quando una tabella contiene molte colonne. |
query |
string | Una query SQL da cui leggere. Se specificato, il connettore esegue la query su BigQuery e legge i risultati della query. |
row_restriction |
string | Un predicato che filtra i dati lato server. Esempio:
"age > 18". |
| Scrivere la configurazione | Tipo di dati | Descrizione |
triggering_frequency |
integer | Per le origini senza limiti, specifica la frequenza con cui vengono attivate le scritture dei file, in secondi. |
Per le letture, devi specificare table o query. Per le scritture, devi
specificare table.
Per maggiori informazioni, consulta i seguenti argomenti: