Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Auf dieser Seite wird beschrieben, wie Sie die Airflow-Konfigurationsoptionen für neue und vorhandene Cloud Composer-Umgebungen überschreiben.
Wenn Sie eine Umgebung erstellen oder aktualisieren, können Sie Apache Airflow-Konfigurationsoptionen mit anderen Werten überschreiben. So können Sie die Airflow-Instanz an Ihre Anforderungen und Anforderungen anpassen.
Airflow-Konfigurationsoptionen für neue Umgebungen überschreiben
Sie können die Airflow-Konfigurationsoptionen beim Erstellen der Umgebung überschreiben. Weitere Informationen finden Sie unter Umgebungen erstellen.
Airflow-Konfigurationsoptionen für vorhandene Umgebungen überschreiben
Console
So überschreiben Sie die Airflow-Konfigurationsoptionen für eine vorhandene Umgebung:
Rufen Sie in der Google Cloud -Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Airflow-Konfigurationsüberschreibungen auf.
Klicken Sie auf Bearbeiten.
Geben Sie den Abschnitt, den Schlüssel und den Wert für die Airflow-Konfigurationsoption ein, die Sie ändern möchten.
Beispiel:
Bereich | Schlüssel | Wert |
---|---|---|
webserver |
dag_orientation |
RL |
gcloud
Mit den folgenden Argumenten werden die Airflow-Konfigurationsoptionen für eine vorhandene Umgebung überschrieben:
- Mit
--update-airflow-configs
werden bestimmte Airflow-Konfigurationsüberschreibungen hinzugefügt oder geändert. --remove-airflow-configs
entfernt die angegebenen Airflow-Konfigurationsüberschreibungen.--clear-airflow-configs
entfernt alle Airflow-Konfigurationsüberschreibungen.
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--update-airflow-configs=KEY=VALUE,KEY=VALUE,...
Ersetzen Sie:
ENVIRONMENT_NAME
durch den Namen der Umgebung.LOCATION
durch die Region, in der sich die Umgebung befindet.KEY
durch den Konfigurationsabschnitt und den Optionsnamen durch Bindestrich getrennt, z. B.webserver-dag_orientation
.VALUE
durch den entsprechenden Wert für eine Option.
Beispiel:
gcloud composer environments update example-environment \
--location us-central1 \
--update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL
API
So überschreiben Sie die Airflow-Konfigurationsoptionen für eine vorhandene Umgebung:
Erstellen Sie eine API-Anfrage
environments.patch
.In dieser Anfrage:
Wenn Sie alle vorhandenen Airflow-Konfigurationsüberschreibungen durch die angegebenen Optionen ersetzen möchten, geben Sie im Parameter
updateMask
die Maskeconfig.softwareConfig.airflowConfigOverrides
an.Wenn Sie eine bestimmte Airflow-Konfigurationsoption überschreiben möchten, geben Sie im Parameter
updateMask
die Maskeconfig.softwareConfig.airflowConfigOverrides.KEY
an. Ersetzen SieKEY
durch den Konfigurationsabschnitt und den Optionsnamen durch Bindestrich getrennt, z. B.webserver-dag_orientation
.Wenn Sie mehrere Airflow-Konfigurationsoptionen überschreiben möchten, geben Sie im Parameter
updateMask
mehrere Masken durch Kommas getrennt an.
Der Anfragetext muss eine Liste der Airflow-Konfigurationsoptionen enthalten. Wenn Sie alle vorhandenen Überschreibungen ersetzen, müssen Sie alle Überschreibungen angeben, die Sie behalten möchten.
{
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"KEY": "VALUE"
}
}
}
}
Ersetzen Sie:
KEY
durch den Konfigurationsabschnitt und den Optionsnamen durch Bindestrich getrennt, z. B.webserver-dag_orientation
.VALUE
durch den entsprechenden Wert für eine Option.
Im folgenden Beispiel werden zwei bestimmte Airflow-Konfigurationsoptionen überschrieben:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation
{
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"webserver-dag_default_view": "graph",
"webserver-dag_orientation": "RL"
}
}
}
}
Terraform
Mit dem Block airflow_config_overrides
im Block software_config
werden Überschreibungen von Airflow-Konfigurationsoptionen für Ihre Umgebung gesteuert:
resource "google_composer_environment" "example" {
config {
# ... Other environment configuration parameters
software_config {
airflow_config_overrides = {
KEY = "VALUE"
}
}
}
}
Ersetzen Sie:
KEY
durch den Konfigurationsabschnitt und den Optionsnamen durch Bindestrich getrennt, z. B.webserver-dag_orientation
.VALUE
durch den entsprechenden Wert für eine Option.
Beispiel:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
# ... Other environment configuration parameters
config {
software_config {
airflow_config_overrides = {
webserver-dag_default_view = "graph"
webserver-dag_orientation = "RL"
}
}
}
}