整合 Bigtable

本頁面說明 Bigtable 與其他產品和服務的整合。

Google Cloud 服務

本節說明 Bigtable 整合的 Google Cloud 服務。

BigQuery

BigQuery 是由 Google 完全代管,PB 規模的低成本數據分析資料倉儲。您可以將 BigQuery 與 Bigtable 搭配使用,達到下列目的:

  • 您可以建立 BigQuery 外部資料表,然後用來查詢 Bigtable 資料表,並將資料加入其他 BigQuery 資料表。詳情請參閱「查詢 Bigtable 資料」。

  • 您可以透過從 BigQuery 到 Bigtable 的反向 ETL (RETL),將 BigQuery 資料匯出至 Bigtable 資料表。詳情請參閱「將資料匯出至 Bigtable」。

Cloud Asset Inventory

Cloud Asset Inventory 提供以時間序列資料庫為基礎的儲存服務,支援並傳回 Bigtable 資源類型。如需完整清單,請參閱「支援的資源類型」。

Dataplex Universal Catalog

Dataplex Universal Catalog 和 Data Catalog (已淘汰) 會自動編錄 Bigtable 資源的中繼資料。資料的編目資訊有助於分析、重複使用資料、開發應用程式及管理資料。詳情請參閱使用 Data Catalog 管理資料資產

Dataflow

Dataflow 是一項雲端服務和程式設計模型,可用於處理大數據。Dataflow 支援批次和串流處理。您可以使用 Dataflow 處理儲存在 Bigtable 中的資料,或儲存 Dataflow 管道的輸出內容。您也可以使用 Dataflow 範本,以 Avro、Parquet 或 SequenceFile 格式匯出匯入資料。

如要開始使用,請參閱「Bigtable Beam 連接器」。

您也可以將 Bigtable 做為鍵值查詢,用來擴充管道中的資料。如需總覽,請參閱「擴充串流資料」。如需教學課程,請參閱「使用 Apache Beam 和 Bigtable 擴充資料」。

Dataproc

Dataproc 在雲端提供 Apache Hadoop 和相關產品的代管服務。您可以使用 Dataproc 來執行讀取及寫入 Bigtable 的 Hadoop 工作。

如需使用 Bigtable 的 Hadoop MapReduce 工作範例,請查看 GitHub 存放區 GoogleCloudPlatform/cloud-bigtable-examples 中的 /java/dataproc-wordcount 目錄。

Vertex AI Vector Search 技術可在數十億個語意相似或語意相關的項目中進行搜尋。有助於導入推薦引擎、聊天機器人及文字分類。

您可以使用 Bigtable 儲存向量嵌入,然後匯出至 Vector Search 索引,並查詢索引中類似的項目。如需示範範例工作流程的教學課程,請參閱 workflows-demos GitHub 存放區中的「Bigtable to Vertex AI Vector Search Export」。

您也可以推送串流更新,讓向量搜尋索引與 Bigtable 即時保持同步。詳情請參閱「Bigtable change streams to Vector Search template」。

大數據

本節說明 Bigtable 整合的巨量資料產品。

Apache Beam

Apache Beam 是整合式模型,可定義批次和串流資料平行處理管道。Bigtable Beam 連接器 (BigtableIO) 可協助您在管道中對 Bigtable 資料執行批次和串流作業。

如需教學課程,瞭解如何使用 Bigtable Beam 連接器將資料管道部署至 Dataflow,請參閱「處理 Bigtable 變更串流」。

Apache Hadoop

Apache Hadoop 是一個架構,可以跨電腦叢集將大型資料集分散處理。您可以使用 Dataproc 建立 Hadoop 叢集,然後執行讀取及寫入 Bigtable 的 MapReduce 工作。

如需使用 Bigtable 的 Hadoop MapReduce 工作範例,請查看 GitHub 存放區 GoogleCloudPlatform/cloud-bigtable-examples 中的 /java/dataproc-wordcount 目錄。

StreamSets Data Collector

StreamSets Data Collector 是一種資料串流應用程式,您可以設定將資料寫入 Bigtable。StreamSets 在 GitHub 存放區 (streamsets/datacollector) 中提供 Bigtable 程式庫。

圖形資料庫

本節說明 Bigtable 整合的圖形資料庫。

HGraphDB

HGraphDB 是用戶端層,可將 Apache HBase 或 Bigtable 用做圖形資料庫。實作 Apache TinkerPop 3 介面。

如要進一步瞭解如何使用 Bigtable 支援執行 HGraphDB,請參閱 HGraphDB 說明文件

JanusGraph

JanusGraph 是一個可擴充的圖形資料庫,適合用來儲存與查詢含有數千億個端點與邊緣的圖形。

如要進一步瞭解如何使用 Bigtable 支援來執行 JanusGraph,請參閱使用 Bigtable 執行 JanusGraphJanusGraph 說明文件

基礎建設管理

本節說明 Bigtable 整合的基礎架構管理工具。

Pivotal Cloud Foundry

Pivotal Cloud Foundry 是應用程式開發及部署平台,可將應用程式繫結至 Bigtable

Terraform

Terraform 是一個開放原始碼工具,能將不同 API 編纂至許多陳述式設定檔之中,而這些設定檔可以被視為程式碼、經編輯、經審查以及經版本化等,並且能夠在團隊成員中進行分享。

如要進一步瞭解如何搭配 Terraform 使用 Bigtable,請參閱 Terraform 說明文件中的「Bigtable 執行個體」和「Bigtable 資料表」。

時間序列資料庫與監控

本節說明 Bigtable 整合的時間序列資料庫和監控工具。

OpenTSDB

OpenTSDB 是時間序列資料庫,可使用 Bigtable 儲存資料。OpenTSDB 說明文件提供相關資訊,協助您開始使用。