Umgebungen skalieren

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Auf dieser Seite wird beschrieben, wie Sie Cloud Composer-Umgebungen skalieren.

Vertikal und horizontal skalieren

In Cloud Composer 1 definieren Sie keine spezifischen CPU- und Arbeitsspeicherressourcen für Cloud Composer und Airflow-Komponenten wie Worker und Planer. Stattdessen geben Sie die Anzahl und den Typ der Maschinen für Knoten im Cluster Ihrer Umgebung an.

Optionen für die horizontale Skalierung:

  • Anzahl der Knoten anpassen
  • Anzahl der Planer anpassen

Optionen für die vertikale Skalierung:

  • Maschinentyp der Cloud SQL-Instanz anpassen
  • Maschinentyp des Webservers anpassen

Planungsparameter anpassen

In Ihrer Umgebung können mehrere Airflow-Planer gleichzeitig ausgeführt werden. Mit mehreren Planern lässt sich die Last auf verschiedene Planerinstanzen verteilen, um die Leistung und Zuverlässigkeit zu verbessern.

Wenn in Ihrer Umgebung Airflow 2 verwendet wird, können Sie eine Anzahl an Planern angeben, wobei die Höchstzahl der Anzahl der Knoten in Ihrer Umgebung entspricht.

Beachten Sie beim Skalieren von Schedulern Folgendes:

  • In Cloud Composer 3-Umgebungen werden Airflow-DAG-Prozessoren als separate Umgebungskomponenten von Planern ausgeführt. Da der DAG-Prozessor das Parsen von DAGs vom Planer entlastet, sollten Sie möglicherweise Ressourcen neu verteilen, die zuvor Airflow-Planern zugewiesen waren.

    Da Scheduler in Cloud Composer 3 keine DAGs parsen, haben sie niedrigere Ressourcenlimits für CPU und Arbeitsspeicher als in Cloud Composer 2.

  • Durch die Erhöhung der Anzahl der Planer wird die Airflow-Leistung nicht immer verbessert.

    Dies kann beispielsweise passieren, wenn der zusätzliche Planer nicht verwendet wird und somit Ressourcen Ihrer Umgebung verbraucht, ohne dass dies Auswirkungen auf die Gesamtleistung hat. Die tatsächliche Leistung des Planers hängt von der Anzahl der Airflow-Worker, der Anzahl der in der Umgebung ausgeführten DAGs und Aufgaben sowie der Konfiguration von Airflow und der Umgebung ab.

  • Wir empfehlen, mit zwei Planern zu beginnen und dann die Leistung Ihrer Umgebung zu überwachen. Wenn Sie die Anzahl der Planer ändern, können Sie Ihre Umgebung jederzeit wieder auf die ursprüngliche Anzahl von Planern skalieren.

Weitere Informationen zur Konfiguration mehrerer Planer finden Sie in der Airflow-Dokumentation.

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Klicken Sie unter Ressourcen > Konfiguration der Arbeitslasten auf Bearbeiten.

  5. Klicken Sie im Element Ressourcen > Anzahl der Planer auf Bearbeiten.

  6. Geben Sie im Bereich Planerkonfiguration im Feld Anzahl der Planer die Anzahl der Planer für Ihre Umgebung an.

  7. Klicken Sie auf Speichern.

gcloud

Die folgenden Airflow-Scheduler-Parameter sind verfügbar:

  • --scheduler-count: Die Anzahl der Planer in Ihrer Umgebung.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-count SCHEDULER_COUNT

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.

  • LOCATION: die Region, in der sich die Umgebung befindet.

Beispiel:

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-count 2

API

  1. Erstellen Sie eine API-Anfrage environments.patch.

  2. In dieser Anfrage:

    1. Geben Sie im updateMask-Parameter die config.workloadsConfig.schedulerCount-Maske an.

    2. Geben Sie im Anfragetext die Anzahl der Planer für Ihre Umgebung an.

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": SCHEDULER_COUNT
    }
  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.

  • LOCATION: die Region, in der sich die Umgebung befindet.

  • SCHEDULER_COUNT: Die Anzahl der Scheduler.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": 2
    }
  }
}

Terraform

Die folgenden Felder im workloads_config.scheduler-Block steuern die Airflow-Planerparameter. Alle Planer verwenden die angegebene Menge an Ressourcen.

  • scheduler.count: Die Anzahl der Planer in Ihrer Umgebung.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      scheduler {
        count = SCHEDULER_COUNT
      }
    }

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.

  • LOCATION: die Region, in der sich die Umgebung befindet.

  • SCHEDULER_COUNT: Die Anzahl der Scheduler.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      scheduler {
        
        count = 2
      }
    }

  }
}

Triggerparameter anpassen

Sie können die Anzahl der Trigger auf null setzen. Sie benötigen jedoch mindestens eine Trigger-Instanz in Ihrer Umgebung (oder mindestens zwei in hochverfügbaren Umgebungen), um zurückstellbare Operatoren in Ihren DAGs zu verwenden.

Je nach Resilience-Modus Ihrer Umgebung sind unterschiedliche Konfigurationen für die Anzahl der Trigger möglich:

  • Standard-Resilienz: Sie können bis zu 10 Trigger ausführen.
  • Hohe Ausfallsicherheit: mindestens 2 Trigger, maximal 10 Trigger.

Auch wenn die Anzahl der Triggerer auf null gesetzt ist, wird eine Triggerer-Pod-Definition erstellt und ist im Cluster Ihrer Umgebung sichtbar. Es werden jedoch keine tatsächlichen Triggerer-Arbeitslasten ausgeführt.

Sie können auch die Anzahl der CPUs, den Arbeitsspeicher und den Speicherplatz angeben, die von Airflow-Triggern in Ihrer Umgebung verwendet werden. So können Sie die Leistung Ihrer Umgebung zusätzlich zur horizontalen Skalierung, die durch die Verwendung mehrerer Triggerer bereitgestellt wird, steigern.

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Klicken Sie unter Ressourcen > Konfiguration der Arbeitslasten auf Bearbeiten.

  5. Passen Sie im Bereich Arbeitslastkonfiguration die Parameter für Airflow-Trigger an:

    1. Geben Sie im Abschnitt Triggerer im Feld Anzahl der Triggerer die Anzahl der Triggerer in Ihrer Umgebung ein.

      Wenn Sie mindestens einen Trigger für Ihre Umgebung festlegen, verwenden Sie auch die Felder CPU und Arbeitsspeicher, um die Ressourcenzuweisung für Ihre Trigger zu konfigurieren.

    2. Geben Sie in den Feldern CPU und Arbeitsspeicher die Anzahl der CPUs, den Arbeitsspeicher und den Speicher für Airflow-Trigger an. Jeder Triggerer verwendet die angegebene Menge an Ressourcen.

  6. Klicken Sie auf Speichern.

gcloud

Die folgenden Airflow-Triggerparameter sind verfügbar:

  • --triggerer-count: Die Anzahl der Trigger in Ihrer Umgebung.

    • Verwenden Sie für Standardumgebungen für die Ausfallsicherheit einen Wert zwischen 0 und 10.
    • Verwenden Sie für hochgradig resiliente Umgebungen 0 oder einen Wert zwischen 2 und 10.

  • --triggerer-cpu: Die Anzahl der CPUs für einen Airflow-Triggerer.

  • --triggerer-memory: die Größe des Arbeitsspeichers für einen Airflow-Triggerer.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --triggerer-count TRIGGERER_COUNT \
  --triggerer-cpu TRIGGERER_CPU \
  --triggerer-memory TRIGGERER_MEMORY

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • TRIGGERER_COUNT: Die Anzahl der Trigger.
  • TRIGGERER_CPU: die Anzahl der CPUs für einen Triggerer in vCPU-Einheiten.
  • TRIGGERER_MEMORY: die Größe des Arbeitsspeichers für einen Trigger.

Beispiele:

  • Auf vier Triggerer-Instanzen skalieren:
gcloud composer environments update example-environment \
  --location us-central1 \
  --triggerer-count 4 \
  --triggerer-cpu 1 \
  --triggerer-memory 1
  • Deaktivieren Sie Trigger, indem Sie die Anzahl der Trigger auf 0 setzen. Für diesen Vorgang müssen Sie keine CPU oder keinen Arbeitsspeicher für die Trigger angeben.
gcloud composer environments update example-environment \
  --location us-central1 \
  --triggerer-count 0

API

  1. Geben Sie im Abfrageparameter updateMask die config.workloadsConfig.triggerer-Maske an.

  2. Geben Sie im Anfragetext alle drei Parameter für Trigger an.

"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": TRIGGERER_COUNT,
      "cpu": TRIGGERER_CPU,
      "memoryGb": TRIGGERER_MEMORY
    }
  }
}

Ersetzen Sie Folgendes:

  • TRIGGERER_COUNT: Die Anzahl der Trigger.

    • Verwenden Sie für Standardumgebungen für die Ausfallsicherheit einen Wert zwischen 0 und 10.
    • Verwenden Sie für hochgradig resiliente Umgebungen 0 oder einen Wert zwischen 2 und 10.

  • TRIGGERER_CPU: die Anzahl der CPUs für einen Triggerer in vCPU-Einheiten.

  • TRIGGERER_MEMORY: die Größe des Arbeitsspeichers für einen Trigger.

Beispiele:

  • Deaktivieren Sie Trigger, indem Sie die Anzahl der Trigger auf 0 setzen. Für diesen Vorgang müssen Sie keine CPU oder keinen Arbeitsspeicher für die Trigger angeben.
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 0
    }
  }
}
  • Auf vier Triggerer-Instanzen skalieren:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 4,
      "cpu": 1,
      "memoryGb": 1
    }
  }
}

Terraform

Die folgenden Felder im workloads_config.triggerer-Block steuern die Airflow-Triggerparameter. Jeder Triggerer verwendet die angegebene Menge an Ressourcen.

  • triggerer.count: Die Anzahl der Trigger in Ihrer Umgebung.

    • Verwenden Sie für Standardumgebungen für die Ausfallsicherheit einen Wert zwischen 0 und 10.
    • Verwenden Sie für hochgradig resiliente Umgebungen 0 oder einen Wert zwischen 2 und 10.

  • triggerer.cpu: Die Anzahl der CPUs für einen Airflow-Triggerer.

  • triggerer.memory_gb: die Menge an Arbeitsspeicher für einen Airflow-Triggerer.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
    }

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • TRIGGERER_COUNT: Die Anzahl der Trigger.
  • TRIGGERER_CPU: die Anzahl der CPUs für einen Triggerer in vCPU-Einheiten.
  • TRIGGERER_MEMORY: die Größe des Arbeitsspeichers für einen Trigger in GB.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
    }

  }
}

Webserverparameter anpassen

Sie können die Anzahl der CPUs, den Arbeitsspeicher und den Speicherplatz angeben, die vom Airflow-Webserver in Ihrer Umgebung verwendet werden. So können Sie die Leistung der Airflow-UI beispielsweise an die Nachfrage einer großen Anzahl von Nutzern oder einer großen Anzahl von verwalteten DAGs anpassen.

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Klicken Sie unter Ressourcen > Konfiguration der Arbeitslasten auf Bearbeiten.

  5. Passen Sie im Bereich Arbeitslastkonfiguration die Parameter für den Webserver an. Geben Sie in den Feldern CPU, Arbeitsspeicher und Speicher die Anzahl der CPUs, den Arbeitsspeicher und den Speicher für den Webserver an.

  6. Klicken Sie auf Speichern.

gcloud

Die folgenden Airflow-Webserverparameter sind verfügbar:

  • --web-server-cpu: Die Anzahl der CPUs für den Airflow-Webserver.
  • --web-server-memory: die Menge an Arbeitsspeicher für den Airflow-Webserver.
  • --web-server-storage: Der Speicherplatz für den Airflow-Webserver.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-cpu WEB_SERVER_CPU \
  --web-server-memory WEB_SERVER_MEMORY \
  --web-server-storage WEB_SERVER_STORAGE

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • WEB_SERVER_CPU: die Anzahl der CPUs für den Webserver in vCPU-Einheiten.
  • WEB_SERVER_MEMORY: die Größe des Arbeitsspeichers für den Webserver.
  • WEB_SERVER_STORAGE: die Größe des Arbeitsspeichers für den Webserver.

Beispiel:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-cpu 1 \
  --web-server-memory 2.5 \
  --web-server-storage 2

API

  1. Erstellen Sie eine API-Anfrage environments.patch.

  2. In dieser Anfrage:

    1. Geben Sie im updateMask-Parameter die config.workloadsConfig.webServer-Maske an, um alle Webserverparameter zu aktualisieren. Sie können auch einzelne Webserverparameter aktualisieren, indem Sie eine Maske für diese Parameter angeben: config.workloadsConfig.webServer.cpu, config.workloadsConfig.webServer.memoryGb, config.workloadsConfig.webServer.storageGb.

    2. Geben Sie im Anfragetext die neuen Webserverparameter an.

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": WEB_SERVER_CPU,
      "memoryGb": WEB_SERVER_MEMORY,
      "storageGb": WEB_SERVER_STORAGE
    }
  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • WEB_SERVER_CPU: die Anzahl der CPUs für den Webserver in vCPU-Einheiten.
  • WEB_SERVER_MEMORY: die Größe des Arbeitsspeichers für den Webserver in GB.
  • WEB_SERVER_STORAGE: die Laufwerksgröße für den Webserver in GB.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2
    }
  }
}

Terraform

Die folgenden Felder im workloads_config.web_server-Block steuern die Webserverparameter.

  • web_server.cpu: die Anzahl der CPUs für den Webserver.
  • web_server.memory_gb: die Größe des Arbeitsspeichers für den Webserver.
  • web_server.storage_gb: der Speicherplatz für den Webserver.
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
    }

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • WEB_SERVER_CPU: die Anzahl der CPUs für den Webserver in vCPU-Einheiten.
  • WEB_SERVER_MEMORY: die Größe des Arbeitsspeichers für den Webserver in GB.
  • WEB_SERVER_STORAGE: die Laufwerksgröße für den Webserver in GB.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      web_server {
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
      }
    }

  }
}

Umgebungsgröße anpassen

Die Umgebungsgröße steuert die Leistungsparameter der verwalteten Cloud Composer-Infrastruktur, die beispielsweise die Airflow-Datenbank enthält.

Wenn Sie eine große Anzahl von DAGs und Aufgaben ausführen möchten, sollten Sie für die Umgebungsgröße einen größeren Wert auswählen.

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Klicken Sie unter Ressourcen > Konfiguration der Arbeitslasten auf Bearbeiten.

  5. Klicken Sie im Element Ressourcen > Kerninfrastruktur auf Bearbeiten.

  6. Geben Sie im Bereich Kerninfrastruktur im Feld Umgebungsgröße die Umgebungsgröße an.

  7. Klicken Sie auf Speichern.

gcloud

Das --environment-size-Argument steuert die Umgebungsgröße:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --environment-size ENVIRONMENT_SIZE

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • ENVIRONMENT_SIZE: small, medium oder large.

Beispiel:

gcloud composer environments update example-environment \
    --location us-central1 \
    --environment-size medium

API

  1. Erstellen Sie eine environments.patch-API-Anfrage.

  2. In dieser Anfrage:

    1. Geben Sie im updateMask-Parameter die config.environmentSize-Maske an.

    2. Geben Sie im Anfragetext die Umgebungsgröße an.

  "config": {
    "environmentSize": "ENVIRONMENT_SIZE"
  }

Ersetzen Sie Folgendes:

  • ENVIRONMENT_SIZE: die Umgebungsgröße, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM oder ENVIRONMENT_SIZE_LARGE.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize

"config": {
  "environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}

Terraform

Das Feld environment_size im Block config steuert die Umgebungsgröße:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    environment_size = "ENVIRONMENT_SIZE"

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • ENVIRONMENT_SIZE: die Umgebungsgröße, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM oder ENVIRONMENT_SIZE_LARGE.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    }
  }
}

Anzahl der Knoten anpassen

Sie können die Anzahl der Knoten in Ihrer Umgebung ändern.

Diese Anzahl entspricht der Anzahl der Airflow-Worker in Ihrer Umgebung. Neben der Ausführung von Airflow-Workern führen Ihre Umgebungsknoten auch Airflow-Planer und andere Umgebungskomponenten aus.

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Klicken Sie im Element Worker-Knoten > Knotenzahl auf Bearbeiten.

  5. Geben Sie im Bereich Worker-Knoten konfigurieren im Feld Anzahl der Knoten die Anzahl der Knoten in Ihrer Umgebung an.

  6. Klicken Sie auf Speichern.

gcloud

Das --node-count-Argument steuert die Anzahl der Knoten in Ihrer Umgebung:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --zone NODE_ZONE \
    --node-count NODE_COUNT

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • NODE_COUNT: Die Anzahl der Knoten. Die Mindestanzahl von Knoten beträgt 3.
  • NODE_ZONE: die Compute Engine-Zone für Ihre Umgebungsvirtualmaschinen.

Beispiel:

gcloud composer environments update example-environment \
    --location us-central1 \
    --zone us-central1-a \
    --node-count 6

API

  1. Erstellen Sie eine environments.patch-API-Anfrage.

  2. In dieser Anfrage gilt:

    1. Geben Sie im updateMask-Parameter die config.nodeCount-Maske an.

    2. Geben Sie im Anfragetext die Anzahl der Knoten für Ihre Umgebung an.

  "config": {
    "nodeCount": NODE_COUNT
  }

Ersetzen Sie Folgendes:

  • NODE_COUNT: Die Anzahl der Knoten. Die Mindestanzahl von Knoten beträgt 3.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount

"config": {
  "nodeCount": 6
}

Terraform

Das Feld node_count im Block node_config gibt die Anzahl der Knoten in Ihrer Umgebung an.

resource "google_composer_environment" "example" {

  config {
    node_config {
      node_count = NODE_COUNT
    }
}

Ersetzen Sie Folgendes:

  • NODE_COUNT: Die Anzahl der Knoten.

Beispiel:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      node_count = 4
    }

}

Maschinentyp der Cloud SQL-Instanz anpassen

Sie können den Maschinentyp der Cloud SQL-Instanz ändern, in der die Airflow-Datenbank Ihrer Umgebung gespeichert ist.

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Klicken Sie im Element Ressourcen > Cloud SQL-Maschinentyp auf Bearbeiten.

  5. Wählen Sie im Bereich Cloud SQL-Konfiguration in der Drop-down-Liste Cloud SQL-Maschinentyp den Maschinentyp für die Cloud SQL-Instanz Ihrer Umgebung aus.

  6. Klicken Sie auf Speichern.

gcloud

Mit den --cloud-sql-machine-type-Argumenten wird der Maschinentyp der Cloud SQL-Instanz in Ihrer Umgebung gesteuert.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --cloud-sql-machine-type SQL_MACHINE_TYPE

Ersetzen Sie Folgendes:

Beispiel:

gcloud composer environments update example-environment \
  --location us-central1 \
  --cloud-sql-machine-type db-n1-standard-2

API

  1. Erstellen Sie eine API-Anfrage environments.patch.

  2. In dieser Anfrage:

    1. Geben Sie im updateMask-Parameter die config.databaseConfig.machineType-Maske an.

    2. Geben Sie im Anfragetext den Maschinentyp für die Cloud SQL-Instanz an.

{
  "config": {
    "databaseConfig": {
      "machineType": "SQL_MACHINE_TYPE"
    }
  }
}

Ersetzen Sie Folgendes:

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType

{
  "config": {
    "databaseConfig": {
      "machineType": "db-n1-standard-2"
    }
  }
}

Terraform

Das Feld machine_type im Block database_config gibt den Maschinentyp für die Cloud SQL-Instanz an.

resource "google_composer_environment" "example" {

  config {
    database_config {
      machine_type = "SQL_MACHINE_TYPE"
    }
  }
}

Ersetzen Sie Folgendes:

Beispiel:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    database_config {
      machine_type = "db-n1-standard-2"
    }
}

Maschinentyp des Webservers anpassen

Sie können den Maschinentyp für den Airflow-Webserver Ihrer Umgebung ändern.

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Klicken Sie im Element Ressourcen > Webserver-Maschinentyp auf Bearbeiten.

  5. Wählen Sie im Bereich Webserverkonfiguration in der Drop-down-Liste Webservermaschinentyp den Maschinentyp für den Airflow-Webserver aus.

  6. Klicken Sie auf Speichern.

gcloud

Mit den --web-server-machine-type-Argumenten wird der Maschinentyp der Airflow-Webserverinstanz in Ihrer Umgebung gesteuert.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-machine-type WS_MACHINE_TYPE

Ersetzen Sie Folgendes:

Beispiel:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-machine-type composer-n1-webserver-2

API

  1. Erstellen Sie eine API-Anfrage environments.patch.

  2. In dieser Anfrage:

    1. Geben Sie im updateMask-Parameter die config.webServerConfig.machineType-Maske an.

    2. Geben Sie im Anfragetext den Maschinentyp für den Webserver an.

{
  "config": {
    "webServerConfig": {
      "machineType": "WS_MACHINE_TYPE"
    }
  }
}

Ersetzen Sie Folgendes:

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType

{
  "config": {
    "webServerConfig": {
      "machineType": "composer-n1-webserver-2"
    }
  }
}

Terraform

Das Feld machine_type im Block web_server_config gibt den Maschinentyp für die Airflow-Webserverinstanz an.

resource "google_composer_environment" "example" {

  config {
    web_server_config {
      machine_type = "WS_MACHINE_TYPE"
    }
  }
}

Ersetzen Sie Folgendes:

Beispiel:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    web_server_config {
      machine_type = "composer-n1-webserver-2"
    }
}

Nächste Schritte