Google fournit des modèles Dataflow Open Source que vous pouvez utiliser au lieu d'écrire du code de pipeline. Cette page répertorie les modèles disponibles. Les images de conteneur de ces modèles sont hébergées sur gcr.io/dataflow-templates.
- Des informations générales sur les modèles sont disponibles sur la page Présentation.
- Pour commencer, exécutez l'exemple de modèle WordCount.
- Pour créer votre propre modèle, découvrez comment étendre les modèles.
Streaming templates
Modèles destinés au traitement des données en continu :
- Apache Kafka vers Apache Kafka
- Apache Kafka vers BigQuery
- Apache Kafka vers Cloud Storage
- Capture des données modifiées de MySQL vers BigQuery (flux)
- Flux de modifications de Bigtable vers BigQuery
- Flux de modifications de Bigtable vers Pub/Sub
- Flux de modifications de Spanner vers BigQuery
- Flux de modifications de Spanner vers Cloud Storage
- Flux de modifications Spanner vers n'importe quelle base de données source
- Flux de modifications de Spanner vers Pub/Sub
- DataStream vers BigQuery (flux)
- Datastream vers Spanner
- Datastream vers MySQL ou PostgreSQL (flux)
- Masquage/Tokenisation de données de Cloud Storage vers BigQuery (à l'aide de Cloud DLP)
- JMS vers Pub/Sub
- MongoDB vers BigQuery (Flux)
- MQTT vers Pub/Sub
- Pub/Sub vers BigQuery
- Pub/Sub vers BigQuery avec Python UDF
- Pub/Sub Avro vers BigQuery
- Proto Pub/Sub vers BigQuery
- Proto Pub/Sub vers BigQuery avec la fonction Python définie par l'utilisateur
- Abonnement Pub/Sub vers BigQuery
- Pub/Sub vers fichiers Avro dans Cloud Storage
- Pub/Sub vers Datadog
- Pub/Sub vers Elasticsearch
- Pub/Sub vers Java Database Connectivity (JDBC)
- Pub/Sub vers MongoDB
- Pub/Sub vers MongoDB avec Python UDF
- Pub/Sub vers Pub/Sub
- Pub/Sub vers Redis
- Pub/Sub vers Splunk
- Sujet Pub/Sub ou abonnement vers des fichiers texte dans Cloud Storage
- Sujet Pub/Sub vers des fichiers texte dans Cloud Storage
- Fichiers texte dans Cloud Storage vers BigQuery (Flux)
- Fichiers texte Cloud Storage vers BigQuery avec UDF Python
- Fichiers texte sur Cloud Storage vers Pub/Sub (flux)
Batch templates
Modèles destinés au traitement des données de manière groupée :
- Base de données source vers Spanner
- Apache Cassandra vers Bigtable
- AstraDB vers BigQuery
- BigQuery vers Bigtable
- BigQuery vers Clickhouse
- Exporter de BigQuery vers Parquet (via l'API Storage)
- BigQuery vers TFRecords Cloud Storage
- BigQuery vers Elasticsearch
- BigQuery vers MongoDB
- Bigtable vers Cloud Storage Avro
- Bigtable vers Cloud Storage JSON
- Bigtable vers Cloud Storage Parquet
- Bigtable vers Cloud Storage SequenceFile
- Changement de flux Bigtable vers Vertex AI Vector Search
- Bigtable vers fichiers Vertex AI Vector Search sur Cloud Storage
- Spanner vers BigQuery
- Spanner vers Cloud Storage Avro
- Spanner vers Texte Cloud Storage
- Spanner vers fichiers Vertex AI Vector Search sur Cloud Storage
- Cloud Storage Avro vers Bigtable
- Cloud Storage Parquet vers Bigtable
- Cloud Storage SequenceFile vers Bigtable
- Cloud Storage Avro vers Spanner
- Fichiers CSV Cloud Storage vers BigQuery
- Texte Cloud Storage vers BigQuery
- Fichiers texte Cloud Storage vers BigQuery avec UDF Python
- Texte Cloud Storage vers Spanner
- Texte Cloud Storage vers Datastore [obsolète]
- Texte Cloud Storage vers Firestore (mode Datastore)
- Texte Cloud Storage vers Pub/Sub (lot)
- Cloud Storage vers Elasticsearch
- Datastore vers texte Cloud Storage [obsolète]
- Firestore (mode Datastore) vers texte Cloud Storage
- Google Ads vers BigQuery
- Google Cloud vers Neo4j
- JDBC vers BigQuery
- JDBC vers Pub/Sub
- MongoDB vers BigQuery
- MySQL vers BigQuery
- Oracle vers BigQuery
- PostgreSQL vers BigQuery
- SQL Server vers BigQuery