數據分析混合式雲端與多雲端模式

Last reviewed 2024-11-27 UTC

這份文件說明,混合式雲端與多雲端分析模式的目標是善用交易和分析工作負載之間的分工。

在企業系統中,大多數的工作負載可以分成下列各類型:

  • 「交易」工作負載,包括互動式應用程式,例如銷售、財務處理、企業資源規劃或通訊。
  • 「分析」工作負載,包括轉換、分析、修正或以視覺化方式呈現資料,來輔助決策程序。

分析系統可透過查詢 API 或存取資料庫來從交易系統取得資料。在大多數企業中,分析與交易系統往往是彼此隔開並以鬆散的方式組合在一起。「分析混合/多雲端」模式的目標是在兩種不同的運算環境中執行交易和分析工作負載,以善加利用這個現有的分組。系統會先從私人運算環境中執行的工作負載擷取原始資料,然後將原始資料載入至Google Cloud,用於分析處理。接著,某些結果可能會傳回交易系統中。

下圖顯示潛在資料管道,說明概念上可行的架構。每個路徑/箭頭代表可能的資料移轉和轉換管道選項,可根據可用的資料品質和指定用途,以 ETL 或 ELT 為基礎。

如要將資料移入 Google Cloud 並從中獲得價值,請使用資料移轉服務,這是一套完整的資料攝入、整合和複製服務。

資料從內部部署系統或其他雲端環境流入 Google Cloud,經過擷取、管道、儲存空間和分析,最後進入應用程式和呈現層。

如上圖所示, Google Cloud 與地端部署環境和其他雲端環境連線後,就能執行各種資料分析用途,例如資料串流和資料庫備份。為了支援需要大量資料傳輸的混合式和多雲分析模式的基本傳輸作業,Cloud Interconnect 和 Cross-Cloud Interconnect 會提供專屬連線,連線至內部部署和其他雲端服務供應商。

優點

以下是在雲端中執行分析工作負載的多項重要優點:

  • 輸入流量:將資料從私人運算環境或其他雲端服務移動到Google Cloud時,可能免費
  • 分析工作負載通常需要處理大量資料,而且可能暴增,因此尤其適合部署在公用雲端環境中。透過動態調度運算資源,即可迅速處理大型資料集,同時避免預先投資或超額佈建運算設備的必要。
  • Google Cloud 提供一套豐富的服務,讓您在資料的整個生命週期中都能妥善管理資料,包括一開始的取得,經過處理與分析,一直到最終的視覺化。
    • Google Cloud 上的資料移動服務提供完整的產品套件,可透過不同方式順暢地移動、整合及轉換資料。
    • Cloud Storage 非常適合建構資料湖泊
  • Google Cloud 可協助您翻新及最佳化資料平台,以打破資料孤島。使用資料湖倉有助於在不同儲存格式之間實現標準化。資料湖倉也能提供彈性、擴充性和靈活性,確保資料能為貴公司創造價值,而非效率低落。詳情請參閱 BigLake

  • BigQuery Omni 提供運算能力,可在 AWS 或 Azure 的儲存空間中執行本機運算作業。這項功能還可協助您查詢儲存在 Amazon Simple Storage Service (Amazon S3) 或 Azure Blob 儲存體中的資料。這項多雲端分析功能可讓資料團隊打破資料孤島。如要進一步瞭解如何查詢儲存在 BigQuery 外部的資料,請參閱「外部資料來源簡介」。

最佳做法

如要實作分析混合式雲端和多雲端架構模式,請考慮採用下列一般最佳做法:

  • 使用轉換網路模式啟用資料擷取。如果需要將分析結果傳回交易系統,您可以結合轉換和閘道式輸出模式。
  • 使用 Pub/Sub 佇列或 Cloud Storage 值區,將資料從私人運算環境中執行的交易系統轉移至 Google Cloud 。那麼這些佇列或值區就可以做為資料處理管道和工作負載的來源。
  • 如要部署 ETL 和 ELT 資料管道,請根據特定用途需求考慮使用 Cloud Data FusionDataflow。這兩項服務都是全代管的雲端優先資料處理服務,可用於建構及管理資料管道。
  • 如要找出、分類及保護寶貴的資料資產,建議您使用 Google Cloud Sensitive Data Protection 功能,例如去識別化技術。這些技術可讓您在適用且符合規定的情況下,使用隨機產生或預先決定的金鑰遮蔽、加密及取代個人識別資訊 (PII) 等機密資料。
  • 當您執行從私人運算環境到 Google Cloud的初始資料移轉作業時,請選擇最適合您的資料集大小和可用頻寬的移轉方法。詳情請參閱「遷移至 Google Cloud:轉移大型資料集」一文。

  • 如果需要長期在 Google Cloud 和其他雲端之間傳輸或交換大量流量資料,建議您評估使用 Google Cloud Cross-Cloud Interconnect,以便在Google Cloud 和其他雲端服務供應商之間建立高頻寬專屬連線 (適用於特定地點)。

  • 如果連線層需要加密,您可以根據所選的混合式連線解決方案,選擇各種選項。這些選項包括 VPN 通道、採用 Cloud Interconnect 的高可用性 VPN 和 Cross-Cloud Interconnect 的 MACsec

  • 在環境間使用一致的工具和程序。在分析混合情境中,雖然這個做法並非必要條件,但可協助提高作業效率。