Upgrade für Umgebungen ausführen

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Auf dieser Seite wird beschrieben, wie Sie Ihre Umgebung auf eine neue Cloud Composer- oder Airflow-Version aktualisieren.

Umstellungsvorgänge

Sie können die Cloud Composer-Version, die Airflow-Version oder beide gleichzeitig upgraden.

Wenn Sie die Version von Airflow oder Cloud Composer ändern, die von Ihrer Umgebung verwendet wird, gilt Folgendes:

• Cloud Composer stellt die Komponenten Ihrer Umgebung mit neuen Versionen von Cloud Composer-Images neu bereit.

• Cloud Composer wendet Airflow-Konfigurationsänderungen wie benutzerdefinierte PyPI-Pakete oder Überschreibungen von Airflow-Konfigurationsoptionen an, wenn Ihre Umgebung diese vor dem Upgrade hatte.

• Cloud Composer aktualisiert die Airflow-airflow_db-Verbindung, damit sie auf die neue Cloud SQL-Datenbank verweist.

Durch das Upgrade ändert sich nicht, wie Sie eine Verbindung zu den Ressourcen in Ihrer Umgebung herstellen, z. B. zur URL des Buckets Ihrer Umgebung oder zum Airflow-Webserver.

Einschränkungen bei Upgradevorgängen

Für Upgrade-Vorgänge gelten die folgenden Einschränkungen:

• Cloud Composer-Releases werden über mehrere Tage hinweg nach und nach in allen von Cloud Composer unterstützten Regionen eingeführt. Die aktuelle Version eines laufenden Releases ist in Ihrer Region möglicherweise noch nicht verfügbar.

• Ein Downgrade auf eine frühere Cloud Composer- oder Airflow-Version ist nicht möglich.

• In der Google Cloud -Konsole können Sie nur auf die neuesten unterstützten Versionen von Cloud Composer 2 aktualisieren.

• In der Google Cloud CLI, der API oder Terraform können Sie eine Umgebung auf die neuesten unterstützten Versionen, drei frühere Versionen von Cloud Composer 2, die letzte Patchversion der vorherigen Nebenversion und auf Versionen mit erweiterter Upgradezeitachse aktualisieren. Es ist nicht möglich, ein Upgrade auf andere Versionen von Cloud Composer 2 durchzuführen, auch wenn diese noch unterstützt werden und zum Erstellen einer neuen Umgebung verwendet werden können.

  Beispiel für Upgrade-Optionen für Google Cloud CLI, API und Terraform:

  • Neueste Versionen: composer-2.11.5-airflow-*
  • Drei vorherige Cloud Composer 2-Versionen: composer-2.11.4-airflow-*, composer-2.11.3-airflow-* und composer-2.11.2-airflow-*.
  • Letzter Patch der vorherigen Cloud Composer 2-Nebenversion: composer-2.10.2-airflow-*
  • Cloud Composer 2-Versionen mit einem verlängerten Upgradezeitraum: composer-2.10.2-airflow-*, composer-2.10.1-ariflow-*, composer-2.9.7-airflow-* und andere Versionen mit einem verlängerten Upgradezeitraum.

• Die Version, auf die Sie upgraden, muss die aktuelle Python-Version Ihrer Umgebung unterstützen.

• Die Kontingentlimits der Compute Engine API können Upgrades verhindern. Rufen Sie in der Google Cloud Console die Seite IAM und Verwaltung > Kontingente und Systemlimits auf und prüfen Sie, ob das Kontingent für die Compute Engine API für die CPU überschritten wurde. Wenn sich der Kontingentschwellenwert nähert, fordern Sie eine Kontingenterweiterung an, bevor Sie mit der Aktualisierung fortfahren.

• Sie können Ihre Umgebung nicht aktualisieren, wenn die Airflow-Datenbank mehr als 16 GB Daten umfasst. Während eines Upgrades wird eine Warnung angezeigt, wenn die Airflow-Datenbankgröße mehr als 16 GB beträgt. Führen Sie in diesem Fall die Datenbankwartung durch, um die Datenbankgröße zu reduzieren.

• Wenn Sie den XCom-Mechanismus zum Übertragen von Dateien verwenden, achten Sie darauf, dass Sie ihn gemäß den Airflow-Richtlinien verwenden. Die Übertragung großer Dateien oder einer großen Anzahl von Dateien mit XCom wirkt sich auf die Leistung der Airflow-Datenbank aus und kann zu Fehlern beim Laden von Snapshots oder beim Aktualisieren Ihrer Umgebung führen. Erwägen Sie die Verwendung von Alternativen wie Cloud Storage, um große Datenmengen zu übertragen.

Hinweise

• Wir empfehlen, einen neuen Snapshot der Umgebung zu erstellen, damit Sie die Umgebung bei Bedarf neu erstellen können.

• Ihr Konto muss eine Rolle haben, die Umgebungsaktualisierungsvorgänge auslösen kann. Darüber hinaus muss das Dienstkonto der Umgebung eine Rolle mit ausreichenden Berechtigungen zum Ausführen von Aktualisierungsvorgängen haben. Weitere Informationen finden Sie unter Zugriffssteuerung.

• Möglicherweise sehen Sie Compute Engine-Metadateneinträge für die GKE-Cluster, die zu Umgebungen in Ihrem Projekt gehören. Bei der Erstellung und Aktualisierung von GKE-Cluster fügt Google Kubernetes Engine automatisch Metadateneinträge auf Projektebene (google_compute_project_metadata) hinzu, um die Nutzung des sekundären IP-Adressbereichs zu erfassen. Ändern oder entfernen Sie diese Einträge nicht. Google Kubernetes Engine verwaltet sie automatisch.

Prüfen, ob Ihre Umgebung auf dem neuesten Stand ist

Cloud Composer zeigt Warnungen an, wenn sich das Image Ihrer Umgebung dem Ende des vollständigen Supportzeitraums nähert. Sie können diese Warnungen verwenden, um Ihre Umgebung immer zu unterstützen.

Cloud Composer erfasst die Cloud Composer-Image-Version, auf der Ihre Umgebung basiert. Wenn sich das Image dem Enddatum des Supports annähert, wird in der Liste der Umgebungen und auf der Seite Umgebungsdetails eine Warnung angezeigt.

So prüfen Sie, ob Ihre Umgebung auf dem neuesten Stand ist:

Vorgeschlagene Upgrades ansehen

Cloud Composer bietet eine Liste der Cloud Composer-Versionen, auf die Sie Ihre Umgebung upgraden können.

So rufen Sie die für ein Upgrade vorgeschlagenen Cloud Composer-Versionen auf:

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

gcloud composer environments list-upgrades example-environment \
  --location us-central1

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Vor dem Upgrade auf PyPI-Paketkonflikte prüfen

Sie können prüfen, ob in Ihrer Umgebung installierte PyPI-Pakete mit vorinstallierten Paketen im neuen Cloud Composer-Image in Konflikt stehen.

Eine erfolgreiche Prüfung bedeutet, dass keine Konflikte in den PyPI-Paketabhängigkeiten zwischen der aktuellen und der angegebenen Version bestehen. Ein Upgradevorgang kann jedoch aus anderen Gründen möglicherweise noch nicht erfolgreich sein.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --image-version composer-2.13.9-airflow-2.10.5

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-2.13.9-airflow-2.10.5. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

{
  "imageVersion": "VERSION"
}

Umgebung upgraden

So führen Sie ein Upgrade Ihrer Umgebung auf eine neuere Version von Cloud Composer oder Airflow durch:

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --image-version composer-2.13.9-airflow-2.10.5

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-2.13.9-airflow-2.10.5"
      }
    }
  }

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-2.13.9-airflow-2.10.5"
    }
  }
}

Nächste Schritte

• Liste der Versionen
• Versionsverwaltung für Cloud Composer
• Umgebungen aktualisieren