O Google fornece
modelos de código aberto
do Dataflow que podem ser usados no lugar dos códigos de pipeline. Nesta página,
listamos os modelos disponíveis. As imagens de contêiner desses modelos são hospedadas em
gcr.io/dataflow-templates
.
- Para informações gerais sobre modelos, consulte Visão geral.
- Para começar, execute o modelo WordCount de exemplo.
- Para criar seu próprio modelo, veja as instruções de como estender modelos.
Modelos de streaming
Modelos para processar dados continuamente:
- Apache Kafka para Apache Kafka
- Apache Kafka para BigQuery
- Apache Kafka para Cloud Storage
- Captura de dados alternados do MySQL para o BigQuery (stream)
- Streams de alterações do Bigtable para o BigQuery
- Fluxos de alterações do Bigtable para o Pub/Sub
- Fluxos de alterações do Spanner para o BigQuery
- Fluxos de alterações do Spanner para o Cloud Storage
- Fluxos de alterações do Spanner para qualquer banco de dados de origem
- Fluxos de alterações do Spanner para o Pub/Sub
- Datastream para o BigQuery (stream)
- Datastream para o Spanner
- Datastream para MySQL ou PostgreSQL (Stream)
- Tokenização/mascaramento de dados do Cloud Storage para o BigQuery (usando o Cloud DLP)
- JMS para Pub/Sub
- MongoDB para BigQuery (stream)
- MQTT para o Pub/Sub
- Pub/Sub para BigQuery
- Pub/Sub para BigQuery com UDF em Python
- Avro do Pub/Sub para BigQuery
- Buffer de protocolo do Pub/Sub para BigQuery
- Proto do Pub/Sub para BigQuery com UDF em Python
- Assinatura do Pub/Sub para BigQuery
- Pub/Sub para arquivos Avro no Cloud Storage
- Pub/Sub para Datadog
- Pub/Sub para Elasticsearch
- Pub/Sub para Java Database Connectivity (JDBC)
- Pub/Sub para MongoDB
- Pub/Sub para MongoDB com UDF em Python
- Pub/Sub para Pub/Sub
- Pub/Sub para Redis
- Pub/Sub para Splunk
- Tópico do Pub/Sub ou assinatura de arquivos de texto no Cloud Storage
- Tópico do Pub/Sub para arquivos de texto no Cloud Storage
- Arquivos de texto no Cloud Storage para BigQuery (stream)
- Arquivos de texto do Cloud Storage para o BigQuery com UDF em Python
- Arquivos de texto no Cloud Storage para o Pub/Sub (stream)
Modelos de lotes
Modelos para processamento de dados em massa:
- Qualquer DB de origem para o Spanner
- Apache Cassandra para Bigtable
- AstraDB para BigQuery
- BigQuery para Bigtable
- Exportação do BigQuery para Parquet (por meio da API Storage)
- BigQuery para TFRecords do Cloud Storage
- BigQuery para Elasticsearch
- BigQuery para MongoDB
- Bigtable para Cloud Storage Avro
- Bigtable para JSON do Cloud Storage
- Bigtable para Cloud Storage Parquet
- Bigtable para Cloud Storage SequenceFile
- Fluxos de alterações do Bigtable para a Vertex AI Vector Search
- Bigtable para arquivos de pesquisa de vetor da Vertex AI no Cloud Storage
- Spanner para o BigQuery
- Spanner para o Cloud Storage Avro
- Spanner para texto do Cloud Storage
- Spanner para arquivos de pesquisa de vetor da Vertex AI no Cloud Storage
- Cloud Storage Avro para Bigtable
- Cloud Storage Parquet para Bigtable
- Cloud Storage SequenceFile para Bigtable
- Cloud Storage Avro para Spanner
- Arquivos CSV do Cloud Storage para o BigQuery
- Cloud Storage Text para BigQuery
- Arquivos de texto do Cloud Storage para o BigQuery com UDF em Python
- Cloud Storage Text para Spanner
- Cloud Storage Text para Datastore [Descontinuado]
- Cloud Storage Text para Firestore (modo Datastore)
- Cloud Storage Text para Pub/Sub (Lote)
- Cloud Storage para Elasticsearch
- Datastore para Cloud Storage Text[Descontinuado]
- Firestore (modo Datastore) para Cloud Storage Text
- Google Ads para BigQuery
- Google Cloud para Neo4j
- JDBC para BigQuery
- JDBC para Pub/Sub
- MongoDB para BigQuery
- MySQL para BigQuery
- Oracle para BigQuery
- PostgreSQL para BigQuery
- SQL Server para BigQuery