Google 提供開放原始碼的 Dataflow 範本,您可以使用這些範本,不必自行編寫管道程式碼。這個頁面列出可用的範本。這些範本的容器映像檔會託管在 gcr.io/dataflow-templates
。
串流範本
用於持續處理資料的範本:
- Apache Kafka 對 Apache Kafka
- 將 Apache Kafka 資料寫入 BigQuery
- Apache Kafka 至 Cloud Storage
- 從 MySQL 到 BigQuery 的變更資料擷取作業 (串流)
- 將 Bigtable 變更串流傳輸至 BigQuery
- 將 Bigtable 變更串流傳送至 Pub/Sub
- Spanner 變更串流到 BigQuery
- 將 Spanner 變更串流匯出至 Cloud Storage
- 將 Spanner 變更串流傳輸至任何來源資料庫
- 將 Spanner 變更串流傳入 Pub/Sub
- Datastream to BigQuery (Stream)
- Datastream 至 Spanner
- Datastream 至 MySQL 或 PostgreSQL (串流)
- 使用 Cloud DLP 從 Cloud Storage 到 BigQuery 的資料遮蓋/代碼化
- JMS 到 Pub/Sub
- MongoDB 到 BigQuery (串流)
- MQTT 至 Pub/Sub
- Pub/Sub 到 BigQuery
- 使用 Python UDF 將 Pub/Sub 資料傳送至 BigQuery
- Pub/Sub Avro 到 BigQuery
- 將 Pub/Sub Proto 傳送至 BigQuery
- 使用 Python UDF 將 Pub/Sub Proto 傳送至 BigQuery
- 將 Pub/Sub 訂閱內容串流至 BigQuery
- 將 Pub/Sub 訊息傳輸到 Cloud Storage 中的 Avro 檔案
- Pub/Sub 到 Datadog
- Pub/Sub 至 Elasticsearch
- Pub/Sub 到 Java Database Connectivity (JDBC)
- Pub/Sub 到 MongoDB
- 透過 Python UDF 將 Pub/Sub 資料傳送至 MongoDB
- Pub/Sub 到 Pub/Sub
- Pub/Sub 至 Redis
- 將 Pub/Sub 的內容傳輸到 Splunk
- Pub/Sub 主題或訂閱項目到 Cloud Storage 中的文字檔案
- Pub/Sub 主題到 Cloud Storage 的文字檔案
- 將 Cloud Storage 中的文字檔案遷移至 BigQuery (串流)
- 使用 Python UDF 將 Cloud Storage 文字檔案遷移至 BigQuery
- 將 Cloud Storage 中的文字檔案串流至 Pub/Sub
批次範本
用於處理大量資料的範本:
- 從任何來源資料庫遷移至 Spanner
- 從 Apache Cassandra 遷移至 Bigtable
- AstraDB 至 BigQuery
- BigQuery 至 Bigtable
- BigQuery 至 Clickhouse
- 將 BigQuery 匯出至 Parquet (透過 Storage API)
- BigQuery 到 Cloud Storage TFRecord
- BigQuery 至 Elasticsearch
- BigQuery 至 MongoDB
- Bigtable 到 Cloud Storage Avro
- Bigtable 到 Cloud Storage JSON
- Bigtable 到 Cloud Storage Parquet
- Bigtable 到 Cloud Storage SequenceFile
- Bigtable change streams to Vertex AI Vector Search
- Cloud Storage 中的 Bigtable to Vertex AI Vector Search 檔案
- Spanner 至 BigQuery
- Spanner 到 Cloud Storage Avro
- Spanner 到 Cloud Storage 文字
- Cloud Storage 上的 Spanner 到 Vertex AI Vector Search 檔案
- Cloud Storage Avro 到 Bigtable
- Cloud Storage Parquet 到 Bigtable
- Cloud Storage SequenceFile 到 Bigtable
- Cloud Storage Avro 到 Spanner
- 將 Cloud Storage 中的 CSV 檔案遷移至 BigQuery
- Cloud Storage 文字到 BigQuery
- 使用 Python UDF 將 Cloud Storage 文字檔案遷移至 BigQuery
- Cloud Storage 文字到 Spanner
- Cloud Storage Text 到 Datastore [已淘汰]
- Cloud Storage 文字到 Firestore (Datastore 模式)
- Cloud Storage 文字到 Pub/Sub (批次)
- Cloud Storage 到 Elasticsearch
- Datastore 到 Cloud Storage 文字 [已淘汰]
- Firestore (Datastore 模式) 到 Cloud Storage 文字
- Google Ads 到 BigQuery
- Google Cloud 到 Neo4j
- JDBC 到 BigQuery
- JDBC 至 Pub/Sub
- MongoDB 至 BigQuery
- 從 MySQL 遷移至 BigQuery
- 從 Oracle 遷移至 BigQuery
- PostgreSQL 到 BigQuery
- 從 SQL Server 遷移至 BigQuery