Présentation des pipelines BigQuery
Vous pouvez utiliser des pipelines BigQuery pour automatiser et simplifier vos processus de données BigQuery. Avec les pipelines, vous pouvez planifier et exécuter des éléments de code de manière séquentielle pour améliorer l'efficacité et réduire les tâches manuelles.
Présentation
Les pipelines sont alimentés par Dataform.
Un pipeline comprend un ou plusieurs des éléments de code suivants:
Vous pouvez utiliser des pipelines pour planifier l'exécution des éléments de code. Par exemple, vous pouvez planifier l'exécution quotidienne d'une requête SQL et mettre à jour une table avec les données sources les plus récentes, qui peuvent ensuite alimenter un tableau de bord.
Dans un pipeline comportant plusieurs composants de code, vous définissez la séquence d'exécution. Par exemple, pour entraîner un modèle de machine learning, vous pouvez créer un workflow dans lequel une requête SQL prépare les données, puis un notebook ultérieur entraîne le modèle à l'aide de ces données.
Capacités
Vous pouvez effectuer les opérations suivantes dans un pipeline:
- Créez ou importez des requêtes ou des notebooks SQL dans un pipeline.
- Planifiez un pipeline pour qu'il s'exécute automatiquement à une heure et une fréquence spécifiées.
- Partager un pipeline avec les utilisateurs ou les groupes que vous spécifiez.
- Partagez un lien vers un pipeline.
Limites
Les pipelines sont soumis aux limites suivantes:
- Les pipelines ne sont disponibles que dans la console Google Cloud.
- Vous ne pouvez pas modifier la région de stockage d'un pipeline une fois celui-ci créé. Pour en savoir plus, consultez la section Définir la région par défaut des composants de code.
- Vous pouvez accorder l'accès à un pipeline sélectionné à des utilisateurs ou à des groupes, mais vous ne pouvez pas leur accorder l'accès à des tâches individuelles du pipeline.
Régions où le service est disponible
Tous les composants de code sont stockés dans votre région par défaut pour les composants de code. La mise à jour de la région par défaut modifie la région pour tous les éléments de code créés par la suite.
Le tableau suivant répertorie les régions où les pipelines sont disponibles:
| Description de la région | Nom de la région | Détails | |
|---|---|---|---|
| Afrique | |||
| Johannesburg | africa-south1 |
||
| Amériques | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 Faibles émissions de CO2
|
|
| Iowa | us-central1 |
Faibles émissions de CO2
|
|
| Los Angeles | us-west2 |
||
| Las Vegas | us-west4 |
||
| Montréal | northamerica-northeast1 |
Faibles émissions de CO2
|
|
| Virginie du Virginie | us-east4 |
||
| Oregon | us-west1 |
Faibles émissions de CO2 |
|
| São Paulo | southamerica-east1 |
Faibles émissions de CO2
|
|
| Caroline du Sud | us-east1 |
||
| Asie-Pacifique | |||
| Hong Kong | asia-east2 |
||
| Jakarta | asia-southeast2 |
||
| Mumbai | asia-south1 |
||
| Séoul | asia-northeast3 |
||
| Singapour | asia-southeast1 |
||
| Sydney | australia-southeast1 |
||
| Taïwan | asia-east1 |
||
| Tokyo | asia-northeast1 |
||
| Europe | |||
| Belgique | europe-west1 |
Faibles émissions de CO2
|
|
| Francfort | europe-west3 |
Faibles émissions de CO2
|
|
| Londres | europe-west2 |
Faibles émissions de CO2
|
|
| Madrid | europe-southwest1 |
Faibles émissions de CO2
|
|
| Pays-Bas | europe-west4 |
Faibles émissions de CO2
|
|
| Turin | europe-west12 |
||
| Zurich | europe-west6 |
Faibles émissions de CO2
|
|
| Moyen-Orient | |||
| Doha | me-central1 |
||
| Dammam | me-central2 |
||
Quotas et limites
Les pipelines BigQuery sont soumis aux quotas et limites Dataform.
Tarifs
L'exécution des tâches de pipeline BigQuery entraîne des frais de calcul et de stockage dans BigQuery. Pour en savoir plus, consultez la page relative aux tarifs de BigQuery.
Les pipelines contenant des notebooks entraînent des frais d'environnement d'exécution Colab Enterprise en fonction du type de machine par défaut. Pour en savoir plus sur les tarifs, consultez la page Tarifs de Colab Enterprise.
Chaque exécution de pipeline BigQuery est journalisée à l'aide de Cloud Logging. La journalisation est automatiquement activée pour les exécutions de pipeline BigQuery, ce qui peut entraîner des frais de facturation Cloud Logging. Pour en savoir plus, consultez la section sur les tarifs de Cloud Logging.
Étape suivante
- Découvrez comment créer des pipelines.
- Découvrez comment gérer des pipelines.
- Découvrez comment planifier des pipelines.