Introdução aos pipelines do BigQuery
É possível usar pipelines do BigQuery para automatizar e simplificar seus processos de dados do BigQuery. Com os pipelines, é possível programar e executar recursos de código em sequência para melhorar a eficiência e reduzir o esforço manual.
Visão geral
Os pipelines são gerados pelo Dataform.
Um pipeline consiste em um ou mais dos seguintes recursos de código:
É possível usar pipelines para programar a execução de recursos de código. Por exemplo, é possível programar uma consulta SQL para ser executada diariamente e atualizar uma tabela com os dados de origem mais recentes, que podem alimentar um painel.
Em um pipeline com vários recursos de código, você define a sequência de execução. Por exemplo, para treinar um modelo de machine learning, você pode criar um fluxo de trabalho em que uma consulta SQL prepara dados e, em seguida, um notebook subsequente treina o modelo usando esses dados.
Recursos
É possível fazer o seguinte em um pipeline:
- Crie ou importe consultas ou notebooks SQL novos ou existentes em um pipeline.
- Programe um pipeline para ser executado automaticamente em um horário e frequência especificados.
- Compartilhe um pipeline com usuários ou grupos especificados.
- Compartilhar um link para um pipeline.
Limitações
Os pipelines estão sujeitos às seguintes limitações:
- Os pipelines estão disponíveis apenas no console do Google Cloud.
- Não é possível mudar a região de armazenamento de um pipeline depois que ele é criado. Para mais informações, consulte Definir a região padrão para recursos de código.
- É possível conceder acesso a usuários ou grupos a um pipeline selecionado, mas não é possível conceder acesso a tarefas individuais dentro do pipeline.
Regiões compatíveis
Todos os recursos de código são armazenados na sua região padrão para recursos de código. A atualização da região padrão muda a região de todos os recursos de código criados depois desse ponto.
A tabela a seguir lista as regiões em que os pipelines estão disponíveis:
| Descrição da região | Nome da região | Detalhes | |
|---|---|---|---|
| África | |||
| Johannesburgo | africa-south1 |
||
| América | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 Baixo CO2
|
|
| Iowa | us-central1 |
Baixo CO2
|
|
| Los Angeles | us-west2 |
||
| Las Vegas | us-west4 |
||
| Montreal | northamerica-northeast1 |
Baixo CO2
|
|
| N. Virgínia | us-east4 |
||
| Oregon | us-west1 |
Baixo CO2 |
|
| São Paulo | southamerica-east1 |
CO2 baixo
|
|
| Carolina do Sul | us-east1 |
||
| Ásia-Pacífico | |||
| Hong Kong | asia-east2 |
||
| Jacarta | asia-southeast2 |
||
| Mumbai | asia-south1 |
||
| Seul | asia-northeast3 |
||
| Singapura | asia-southeast1 |
||
| Sydney | australia-southeast1 |
||
| Taiwan | asia-east1 |
||
| Tóquio | asia-northeast1 |
||
| Europa | |||
| Bélgica | europe-west1 |
CO2 baixo
|
|
| Frankfurt | europe-west3 |
Baixo CO2
|
|
| Londres | europe-west2 |
Baixo CO2
|
|
| Madri | europe-southwest1 |
Baixo CO2
|
|
| Países Baixos | europe-west4 |
Baixo CO2
|
|
| Turim | europe-west12 |
||
| Zurique | europe-west6 |
Baixo CO2
|
|
| Oriente Médio | |||
| Doha | me-central1 |
||
| Damã | me-central2 |
||
Cotas e limites
Os pipelines do BigQuery estão sujeitos a cotas e limites do Dataform.
Preços
A execução de tarefas de pipeline do BigQuery gera cobranças de computação e armazenamento no BigQuery. Para mais informações, consulte preços do BigQuery.
Os pipelines que contêm notebooks geram cobranças de ambiente de execução do Colab Enterprise com base no tipo de máquina padrão. Para detalhes sobre preços, consulte Preços do Colab Enterprise.
Cada execução de pipeline do BigQuery é registrada usando o Cloud Logging. A geração de registros é ativada automaticamente para execuções de pipeline do BigQuery, o que pode gerar cobranças do Cloud Logging. Para mais informações, consulte os preços do Cloud Logging.
A seguir
- Saiba como criar pipelines.
- Saiba como gerenciar pipelines.
- Saiba como programar pipelines.