Introducción a los flujos de trabajo de BigQuery
Puedes usar canalizaciones de BigQuery para automatizar y optimizar tus procesos de datos de BigQuery. Con las canalizaciones, puedes programar y ejecutar recursos de código en secuencia para mejorar la eficiencia y reducir el esfuerzo manual.
Descripción general
Las canalizaciones se basan en Dataform.
Una canalización consta de uno o más de los siguientes recursos de código:
Puedes usar canalizaciones para programar la ejecución de recursos de código. Por ejemplo, puedes programar una consulta en SQL para que se ejecute a diario y actualice una tabla con los datos de origen más recientes, que luego pueden alimentar un panel.
En una canalización con varios recursos de código, defines la secuencia de ejecución. Por ejemplo, para entrenar un modelo de aprendizaje automático, puedes crear un flujo de trabajo en el que una consulta en SQL prepare los datos y, luego, un notebook posterior entrene el modelo con esos datos.
Funciones
Puedes hacer lo siguiente en una canalización:
- Crea consultas o notebooks de SQL nuevos o importa los existentes a una canalización.
- Programa una canalización para que se ejecute automáticamente en una hora y frecuencia especificadas.
- Compartir una canalización con los usuarios o grupos que especifiques
- Comparte un vínculo a una canalización.
Limitaciones
Los pipelines están sujetos a las siguientes limitaciones:
- Los flujos de trabajo solo están disponibles en la consola de Google Cloud.
- No puedes cambiar la región para almacenar una canalización después de crearla. Para obtener más información, consulta Configura la región predeterminada para los elementos de código.
- Puedes otorgarles a los usuarios o grupos acceso a una canalización seleccionada, pero no puedes otorgarles acceso a tareas individuales dentro de la canalización.
Regiones admitidas
Todos los elementos de código se almacenan en tu región predeterminada para los elementos de código. La actualización de la región predeterminada cambia la región de todos los elementos de código que se crean después de ese punto.
En la siguiente tabla, se enumeran las regiones en las que están disponibles los canales:
| Descripción de la región | Nombre de la región | Detalles | |
|---|---|---|---|
| África | |||
| Johannesburgo | africa-south1 |
||
| América | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 CO2 bajo
|
|
| Iowa | us-central1 |
CO2 bajo
|
|
| Los Ángeles | us-west2 |
||
| Las Vegas | us-west4 |
||
| Montreal | northamerica-northeast1 |
CO2 bajo
|
|
| N. Virginia | us-east4 |
||
| Oregón | us-west1 |
CO2 bajo |
|
| São Paulo | southamerica-east1 |
CO2 bajo
|
|
| Carolina del Sur | us-east1 |
||
| Asia-Pacífico | |||
| Hong Kong | asia-east2 |
||
| Yakarta | asia-southeast2 |
||
| Bombay | asia-south1 |
||
| Seúl | asia-northeast3 |
||
| Singapur | asia-southeast1 |
||
| Sídney | australia-southeast1 |
||
| Taiwán | asia-east1 |
||
| Tokio | asia-northeast1 |
||
| Europa | |||
| Bélgica | europe-west1 |
CO2 bajo
|
|
| Fráncfort | europe-west3 |
CO2 bajo
|
|
| Londres | europe-west2 |
CO2 bajo
|
|
| Madrid | europe-southwest1 |
CO2 bajo
|
|
| Países Bajos | europe-west4 |
CO2 bajo
|
|
| Turín | europe-west12 |
||
| Zúrich | europe-west6 |
CO2 bajo
|
|
| Oriente Medio | |||
| Doha | me-central1 |
||
| Dammam | me-central2 |
||
Cuotas y límites
Las canalizaciones de BigQuery están sujetas a las cuotas y límites de Dataform.
Precios
La ejecución de tareas de canalización de BigQuery genera cargos de procesamiento y almacenamiento en BigQuery. Si deseas obtener más información, consulta los Precios de BigQuery.
Las canalización que contienen notebooks incurren en cargos del entorno de ejecución de Colab Enterprise según el tipo de máquina predeterminado. Para obtener detalles sobre los precios, consulta Precios de Colab Enterprise.
Cada ejecución de canalización de BigQuery se registra con Cloud Logging. El registro se habilita automáticamente para las ejecuciones de canalización de BigQuery, lo que puede generar cargos de facturación de Cloud Logging. Para obtener más información, consulta Precios de Cloud Logging.
¿Qué sigue?
- Obtén más información para crear canalización.
- Obtén más información para administrar canalizaciones.
- Obtén información para programar canalizaciones.