Google proporciona plantillas de código abierto de Dataflow que puedes usar en lugar de escribir código de canalización. En esta página, se enumeran las plantillas disponibles. Las imágenes de contenedor para estas plantillas se alojan en gcr.io/dataflow-templates.
- Para obtener información general sobre las plantillas, consulta Descripción general.
- Para comenzar, ejecuta la plantilla de muestra WordCount.
- Para crear tu propia plantilla, consulta cómo extender las plantillas.
Plantillas de transmisión
Plantillas para procesar datos de forma continua:
- Apache Kafka a Apache Kafka
- Apache Kafka a BigQuery
- Apache Kafka a Cloud Storage
- Captura de datos modificados desde MySQL hasta BigQuery (transmisión)
- Flujos de cambios de Bigtable a BigQuery
- Flujos de cambios de Bigtable a Pub/Sub
- Flujos de cambios de Spanner a BigQuery
- Flujos de cambios de Spanner a Cloud Storage
- Flujos de cambios de Spanner a cualquier base de datos de origen
- Flujos de cambios de Spanner a Pub/Sub
- Datastream a BigQuery (transmisión)
- Datastream a Spanner
- Datastream a MySQL o PostgreSQL (Transmisión)
- Enmascaramiento de datos y asignación de tokens de Cloud Storage a BigQuery (con Cloud DLP)
- JMS a Pub/Sub
- MongoDB a BigQuery (transmisión)
- MQTT a Pub/Sub
- Pub/Sub a BigQuery
- Pub/Sub a BigQuery con UDF de Python
- Pub/Sub Avro a BigQuery
- Proto de Pub/Sub a BigQuery
- Plantilla de Proto de Pub/Sub a BigQuery con UDF de Python
- Suscripción de Pub/Sub a BigQuery
- Pub/Sub a archivos de Avro en Cloud Storage
- De Pub/Sub a Datadog
- Pub/Sub a Elasticsearch
- Conectividad a bases de datos de Java (JDBC) de Pub/Sub
- Pub/Sub a MongoDB
- Pub/Sub a MongoDB con UDF de Python
- Pub/Sub a Pub/Sub
- Pub/Sub a Redis
- Pub/Sub a Splunk
- Tema de Pub/Sub o suscripción a archivos de texto en Cloud Storage
- Tema de Pub/Sub a archivos de texto en Cloud Storage
- Archivos de texto en Cloud Storage a BigQuery (transmisión)
- Archivos de texto de Cloud Storage a BigQuery con UDF de Python
- Archivos de texto en Cloud Storage a Pub/Sub (transmisión)
Plantillas de lotes
Plantillas para procesar datos de forma masiva:
- Cualquier Source DB a Spanner
- Apache Cassandra a Bigtable
- AstraDB a BigQuery
- BigQuery a Bigtable
- BigQuery a Clickhouse
- Exportación de BigQuery a Parquet (a través de la API de Storage)
- BigQuery a TFRecord de Cloud Storage
- BigQuery a Elasticsearch
- BigQuery a MongoDB
- Bigtable a Avro en Cloud Storage
- Bigtable al JSON de Cloud Storage
- Bigtable a Parquet en Cloud Storage
- Bigtable a SequenceFile en Cloud Storage
- Flujos de cambios de Bigtable a Vertex AI Vector Search
- Bigtable a archivos de Vertex AI Vector Search en Cloud Storage
- Spanner a BigQuery
- Spanner a Avro en Cloud Storage
- Spanner a texto de Cloud Storage
- Spanner a archivos de Vertex AI Vector Search en Cloud Storage
- Avro de Cloud Storage a Bigtable
- Archivos Parquet de Cloud Storage en Bigtable
- SequenceFile de Cloud Storage a Bigtable
- Avro de Cloud Storage a Spanner
- Archivos CSV de Cloud Storage a BigQuery
- Cloud Storage Text a BigQuery
- Archivos de texto de Cloud Storage a BigQuery con UDF de Python
- Texto de Cloud Storage a Spanner
- Cloud Storage en archivos de texto a Datastore [obsoleta]
- Cloud Storage Text a Firestore (modo Datastore)
- Cloud Storage Text a Pub/Sub (por lotes)
- Cloud Storage a Elasticsearch
- Datastore a Cloud Storage en archivos de texto [obsoleta]
- Firestore (modo Datastore) a Cloud Storage Text
- Google Ads a BigQuery
- Google Cloud a Neo4j
- JDBC a BigQuery
- JDBC a Pub/Sub
- MongoDB a BigQuery
- MySQL a BigQuery
- Oracle a BigQuery
- De PostgreSQL a BigQuery
- De SQL Server a BigQuery