覆寫 Airflow 設定選項

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本頁面說明如何為新版和現有 Cloud Composer 環境覆寫 Airflow 設定選項。

建立或更新環境時，您可以使用不同的值覆寫 Apache Airflow 設定選項。這樣一來，您就可以根據需求調整 Airflow 執行個體。

覆寫新環境的 Airflow 設定選項

您可以在建立環境時覆寫 Airflow 設定選項。詳情請參閱「建立環境」。

覆寫現有環境的 Airflow 設定選項

主控台

如要為現有環境覆寫 Airflow 設定選項，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在環境清單中，按一下環境名稱。環境詳細資料頁面隨即開啟。

  3. 前往「Airflow 設定覆寫」分頁。

  4. 按一下 [編輯]。

  5. 輸入要變更的 Airflow 設定選項的區段、鍵和值。

例如：

區段 鍵 值
webserver dag_orientation RL

gcloud

以下引數會覆寫現有環境的 Airflow 設定選項：

  • --update-airflow-configs 會新增或變更指定的 Airflow 設定覆寫值。
  • --remove-airflow-configs 會移除指定的 Airflow 設定覆寫值。
  • --clear-airflow-configs 會移除所有 Airflow 設定覆寫。
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

取代：

  • 將 ENVIRONMENT_NAME 替換為環境的名稱。
  • LOCATION 改成環境所在的地區。
  • KEY，其中設定區段和選項名稱以連字號分隔，例如 webserver-dag_orientation。
  • VALUE 與選項的對應值。

例如：

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

如要為現有環境覆寫 Airflow 設定選項，請按照下列步驟操作：

  1. 建構 environments.patch API 要求。

  2. 在這個要求中：

    • 如要將所有現有的 Airflow 設定覆寫值替換為指定的選項，請在 updateMask 參數中指定 config.softwareConfig.airflowConfigOverrides 遮罩。

    • 如要覆寫特定 Airflow 設定選項，請在 updateMask 參數中指定 config.softwareConfig.airflowConfigOverrides.KEY 遮罩。將 KEY 替換成設定區段，並以連字號分隔選項名稱，例如 webserver-dag_orientation。

      如果您想覆寫多個 Airflow 設定選項，請在 updateMask 參數中指定多個遮罩，並以半形逗號分隔。

  3. 要求主體必須包含 Airflow 設定選項清單。如果您要取代所有現有的覆寫值，請務必納入所有要保留的覆寫值。

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

取代：

  • KEY，其中設定區段和選項名稱以連字號分隔，例如 webserver-dag_orientation。
  • VALUE 與選項的對應值。

以下範例會覆寫兩個特定 Airflow 設定選項：

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

software_config 區塊中的 airflow_config_overrides 區塊會控制環境的 Airflow 設定選項覆寫值：

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

取代：

  • KEY，其中設定區段和選項名稱以連字號分隔，例如 webserver-dag_orientation。
  • VALUE 與選項的對應值。

範例：

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

後續步驟