環境架構

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本頁面說明 Cloud Composer 環境的架構。

環境架構設定

Cloud Composer 2 環境可採用下列架構設定：

客戶和租戶專案

建立環境時，Cloud Composer 會將環境的資源分配至用戶群和客戶專案：

  • 客戶專案是您建立環境的 Google Cloud 專案。您可以在單一客戶專案中建立多個環境。

  • 租用戶專案是 Google 管理的租用戶專案，屬於 Google.com 機構。租用戶專案可為環境提供統一的存取權控管機制，以及額外的資料安全防護機制。每個 Cloud Composer 環境都有自己的租用戶專案。

環境元件

Cloud Composer 環境由環境元件組成。

環境元件是指在 Google Cloud上執行的代管 Airflow 基礎架構元素，也是環境的一部分。環境元件會在用戶群或環境的客戶專案中執行。

環境的叢集

環境叢集是環境的 Autopilot 模式 VPC 原生 Google Kubernetes Engine 叢集：

根據預設，Cloud Composer 會啟用節點自動升級和節點自動修復功能，保護環境叢集不受安全性漏洞的侵擾。這些作業會在您為環境指定的維護期間執行。

環境值區

環境的值區是儲存 DAG、外掛程式、資料相依性和 Airflow 記錄的 Cloud Storage 值區。環境的值區位於客戶專案中。

當您上傳 DAG 檔案到環境值區中的 /dags 資料夾時，Cloud Composer 會將 DAG 同步至環境的 Airflow 元件。

Airflow 網路伺服器

Airflow 網路伺服器會執行環境的 Airflow UI。

Cloud Composer 會根據使用者身分和為使用者定義的 IAM 政策繫結，提供介面的存取權。

Airflow 資料庫

Airflow 資料庫是 Cloud SQL 執行個體，可在環境的租用戶專案中執行。並代管 Airflow 中繼資料資料庫。

為保護機密連線和工作流程資訊，Cloud Composer 只允許環境的服務帳戶存取資料庫。

其他 Airflow 元件

在環境中執行的其他 Airflow 元件包括：

  • Airflow 排程器會剖析 DAG 定義檔案、依據排程間隔排定 DAG 執行作業，並將任務排入佇列來讓 Airflow 工作站執行。在 Cloud Composer 2 中，Airflow DAG 處理器會在排程器元件中執行。

  • Airflow 觸發器會以非同步的方式監控環境中的所有延後工作。如果在環境中設定的觸發器數量大於零，您就可以在 DAG 中使用可延遲運算子。

  • Airflow 工作站會執行 Airflow 排程器排定的任務。環境中的工作站數量會根據佇列中的工作數量進行動態變更。

公開 IP 環境架構

用戶群專案和客戶專案中的公開 IP Cloud Composer 環境資源
圖 1： 公開 IP 環境架構 (按一下即可放大)

在 Cloud Composer 2 的公開 IP 環境架構中：

  • 租用戶專案會代管 Cloud SQL 執行個體和 Cloud SQL 儲存空間。
  • 客戶專案會代管環境的所有其他元件。
  • 客戶專案中的 Airflow 排程器和 worker 會透過位於客戶專案中的 Cloud SQL Proxy 執行個體，與 Airflow 資料庫通訊。

私人 IP 環境架構

在用戶群專案和客戶專案中，私人 IP 搭配 PSC Cloud Composer 環境資源 (按一下可放大)
圖 2. 用戶群專案和客戶專案中的私人 IP Cloud Composer 環境資源 (按一下可放大)

根據預設，Cloud Composer 2 會使用 Private Service Connect，讓私人 IP 環境在內部通訊時不必使用 VPC 對等連線。您也可以在環境中使用 VPC 對等連線，而非 Private Service Connect。這是非預設選項。

在私人 IP 環境架構中：

  • 租用戶專案會代管 Cloud SQL 執行個體和 Cloud SQL 儲存空間。
  • 客戶專案會代管環境的所有其他元件。
  • Airflow 排程器和工作站會透過已設定的 PSC 端點連線至 Airflow 資料庫。

高度彈性的私人 IP 架構

用戶群專案和客戶專案中的高彈性私人 IP 環境資源 (按一下可放大)
圖 3. 用戶群專案和客戶專案中的高彈性私人 IP Cloud Composer 環境資源 (按一下可放大)

高彈性 Cloud Composer 環境是指使用內建備援和容錯機制的 Cloud Composer 2 環境，可降低環境發生區域故障和單點故障停機的機率。

在這種私人 IP 環境中：

  • 您環境中的 Cloud SQL 執行個體已設定為高可用性 (是地區性執行個體)。在區域執行個體中，設定是由主要執行個體和待命執行個體組成。
  • 您的環境會執行兩個 Airflow 排程器、兩個網路伺服器，以及 (如果使用觸發器的話) 至少兩個 (最多十個) 觸發器。這兩組元件會在兩個不同的區域中執行。
  • 工作站數量下限設為兩個，而環境叢集會在區域之間分配工作站執行個體。發生區域服務中斷時，系統會在不同區域重新安排受影響的工作站執行個體。

與 Cloud Logging 和 Cloud Monitoring 整合

Cloud Composer 會整合您的 Google Cloud 專案的 Cloud Logging 和 Cloud Monitoring，讓您可集中查看 Airflow 和 DAG 記錄。

Cloud Monitoring 會收集和擷取 Cloud Composer 的指標、事件和中繼資料，透過資訊主頁和圖表產生深入分析資料。

Cloud Logging 具有串流特性，因此您可以立即查看 Airflow 元件發出的記錄，而不必等候 Airflow 記錄顯示在環境的 Cloud Storage 值區中。

如要限制 Google Cloud 專案中的記錄數量，您可以停止擷取所有記錄。請勿停用記錄功能。

後續步驟