關於環境資源調度

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本頁面說明 Cloud Composer 2 環境資源調度的運作方式。

其他有關資源調度的頁面：

自動調度環境

Cloud Composer 2 環境會根據執行的 DAG 和工作需求自動調整資源配置：

  • 如果環境負載過重，Cloud Composer 會自動增加環境中的工作站數量。
  • 如果環境未使用部分工作站，系統會移除這些工作站，以節省環境資源和費用。
  • 您可以為環境設定工作站數量下限和上限。 Cloud Composer 會在設定的限制內自動調度環境資源。你隨時可以調整這些限制。

系統會根據「縮放比例目標」指標調整工作站數量。這項指標的計算依據為：

  • 目前工作站數量
  • Celery 佇列中未指派給工作站的 Celery 工作數量
  • 閒置工作站數量
  • celery.worker_concurrency Airflow 設定選項

Cloud Composer 自動調度資源功能會使用 GKE 提供的三種自動調度資源功能：

Cloud Composer 會在環境的叢集中設定這些自動調整程式。這會自動調整叢集中的節點數、機器類型和工作站數。

規模和效能參數

除了自動調度資源外，您也可以調整排程器、網路伺服器和工作站的 CPU、記憶體和磁碟限制，控管環境的規模和效能參數。這樣一來，除了自動調度功能提供的水平擴充功能外，您還可以垂直擴充環境。您可以隨時調整 Airflow 排程器、網路伺服器和工作站的規模和效能參數。

環境的環境大小效能參數，會控管代管 Cloud Composer 基礎架構的效能參數，包括 Airflow 資料庫。如要執行大量 DAG 和工作，並提高基礎架構效能，請考慮選取較大的環境規模。舉例來說，環境越大，環境能處理的 Airflow 工作記錄項目就越多，延遲時間也越短。

多個排程器

Airflow 2 可以同時使用多個 Airflow 排程器。這項 Airflow 功能也稱為「高可用性排程器」。在 Cloud Composer 2 中，您可以為環境設定排程器數量，並隨時調整。Cloud Composer 不會自動調整環境中的排程器數量。

如要進一步瞭解如何為環境設定排程器數量，請參閱「環境規模」。

資料庫磁碟空間

Airflow 資料庫的磁碟空間會自動增加，以因應需求。

後續步驟