Introduzione alle pipeline di BigQuery
Puoi utilizzare le pipeline BigQuery per automatizzare e semplificare le tue elaborazioni dei dati BigQuery. Con le pipeline, puoi pianificare ed eseguire gli asset di codice in sequenza per migliorare l'efficienza e ridurre le attività manuali.
Panoramica
Le pipeline sono basate su Dataform.
Una pipeline è costituita da uno o più dei seguenti asset di codice:
Puoi utilizzare le pipeline per pianificare l'esecuzione degli asset di codice. Ad esempio, puoi pianificare l'esecuzione giornaliera di una query SQL e aggiornare una tabella con i dati di origine più recenti, che possono poi essere utilizzati per una dashboard.
In una pipeline con più asset di codice, devi definire la sequenza di esecuzione. Ad esempio, per addestrare un modello di machine learning, puoi creare un flusso di lavoro in cui una query SQL prepara i dati e un blocco note successivo addestra il modello utilizzando questi dati.
Funzionalità
In una pipeline puoi:
- Crea nuovi notebook o importa quelli esistenti in una pipeline.
- Pianifica una pipeline in modo che venga eseguita automaticamente con una frequenza e a un orario specifici.
- Condividi una pipeline con gli utenti o i gruppi specificati.
- Condividi un link a una pipeline.
Limitazioni
Le pipeline sono soggette alle seguenti limitazioni:
- Le pipeline sono disponibili solo nella console Google Cloud.
- Non puoi modificare la regione di archiviazione di una pipeline dopo averla creata. Per ulteriori informazioni, consulta Impostare la regione predefinita per gli asset di codice.
- Puoi concedere a utenti o gruppi l'accesso a una pipeline selezionata, ma non puoi concedergli l'accesso alle singole attività all'interno della pipeline.
Aree geografiche supportate
Tutti gli asset di codice vengono archiviati nella regione predefinita per gli asset di codice. L'aggiornamento della regione predefinita modifica la regione per tutti gli asset di codice creati in seguito.
La tabella seguente elenca le regioni in cui sono disponibili le pipeline:
| Descrizione della regione | Nome regione | Dettagli | |
|---|---|---|---|
| Africa | |||
| Johannesburg | africa-south1 |
||
| Americhe | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 Bassi livelli di CO2
|
|
| Iowa | us-central1 |
Bassi livelli di CO2
|
|
| Los Angeles | us-west2 |
||
| Las Vegas | us-west4 |
||
| Montréal | northamerica-northeast1 |
Bassi livelli di CO2
|
|
| N. Virginia | us-east4 |
||
| Oregon | us-west1 |
Bassi livelli di CO2 |
|
| San Paolo | southamerica-east1 |
Bassi livelli di CO2
|
|
| Carolina del Sud | us-east1 |
||
| Asia Pacifico | |||
| Hong Kong | asia-east2 |
||
| Giacarta | asia-southeast2 |
||
| Mumbai | asia-south1 |
||
| Seul | asia-northeast3 |
||
| Singapore | asia-southeast1 |
||
| Sydney | australia-southeast1 |
||
| Taiwan | asia-east1 |
||
| Tokyo | asia-northeast1 |
||
| Europa | |||
| Belgio | europe-west1 |
Bassi livelli di CO2
|
|
| Francoforte | europe-west3 |
Bassi livelli di CO2
|
|
| Londra | europe-west2 |
Bassi livelli di CO2
|
|
| Madrid | europe-southwest1 |
Bassi livelli di CO2
|
|
| Paesi Bassi | europe-west4 |
Bassi livelli di CO2
|
|
| Torino | europe-west12 |
||
| Zurigo | europe-west6 |
Bassi livelli di CO2
|
|
| Medio Oriente | |||
| Doha | me-central1 |
||
| Dammam | me-central2 |
||
Quote e limiti
Le pipeline BigQuery sono soggette a quote e limiti di Dataform.
Prezzi
L'esecuzione delle attività della pipeline BigQuery comporta costi di calcolo e archiviazione in BigQuery. Per ulteriori informazioni, vedi Prezzi di BigQuery.
Le pipeline contenenti notebook comportano addebiti per il runtime di Colab Enterprise in base al tipo di macchina predefinito. Per i dettagli sui prezzi, consulta la pagina Prezzi di Colab Enterprise.
Ogni esecuzione della pipeline BigQuery viene registrata utilizzando Cloud Logging. La registrazione viene attivata automaticamente per le esecuzioni delle pipeline BigQuery, il che può comportare addebiti per la fatturazione di Cloud Logging. Per ulteriori informazioni, consulta Prezzi di Cloud Logging.
Passaggi successivi
- Scopri come creare pipeline.
- Scopri come gestire le pipeline.
- Scopri come pianificare le pipeline.