Mettre à niveau des environnements

Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Cette page explique comment mettre à niveau votre environnement vers une nouvelle version d'Airflow.

À propos des opérations de mise à niveau

Dans Cloud Composer 3, vous ne gérez pas la version Cloud Composer de votre environnement:

• Cloud Composer met automatiquement à niveau les composants d'infrastructure de votre environnement. Ces composants sont liés aux fonctionnalités de Cloud Composer et ne modifient pas le fonctionnement d'Airflow ni l'exécution de vos DAG Airflow.
• Cloud Composer ne met pas automatiquement à niveau la version et le build d'Airflow, les composants Airflow ni les composants étroitement liés aux charges de travail Airflow. Ils ne sont pas modifiés lorsque les composants de l'infrastructure sont mis à niveau automatiquement.
• Vous pouvez mettre à niveau manuellement vers une nouvelle version ou version de compilation d'Airflow.

Par exemple, vous pouvez utiliser la même version et la même version d'Airflow pendant plusieurs mois, sans effectuer de mises à niveau. Votre environnement continuera de recevoir les dernières mises à jour, corrections et améliorations de Cloud Composer pour les composants d'infrastructure de l'environnement. Lorsque vous décidez ultérieurement de passer à une nouvelle version ou à une nouvelle compilation d'Airflow, vous mettez à niveau la version d'Airflow dans votre environnement.

À propos de la mise à niveau de la version d'Airflow

Votre environnement modifie la version ou le build d'Airflow comme suit:

• Vous contrôlez la version (et la compilation) d'Airflow de votre environnement. Vous pouvez effectuer l'opération de mise à niveau de la version d'Airflow lorsque vous choisissez de passer à une autre version d'Airflow dans votre environnement. Par exemple, cela peut se produire si la version et le build actuels d'Airflow ne sont plus compatibles.

• Cloud Composer redéploye les composants Airflow de votre environnement à l'aide de la version et du build Airflow spécifiés.

• Cloud Composer applique les modifications de configuration Airflow, telles que les packages PyPI personnalisés ou les remplacements d'options de configuration Airflow, si votre environnement les possédait avant la mise à niveau.

• Cloud Composer met à jour la connexion Airflow airflow_db pour qu'elle pointe vers la nouvelle base de données Cloud SQL.

Modifier la version d'Airflow ne modifie pas la manière dont vous vous connectez aux ressources de votre environnement, comme l'URL du bucket de votre environnement ou le serveur Web Airflow.

À propos des opérations de migration d'infrastructure automatiques

Cloud Composer effectue régulièrement des opérations de mise à niveau automatique de l'infrastructure:

• Les opérations de mise à niveau automatique de l'infrastructure s'exécutent régulièrement pendant les intervalles de maintenance spécifiés pour l'environnement.

• Vous ne pouvez pas désactiver les mises à niveau automatiques de l'infrastructure dans Cloud Composer 3. Vous pouvez contrôler les périodes pendant lesquelles les mises à niveau automatiques peuvent s'exécuter en spécifiant des intervalles de maintenance personnalisés pour votre environnement.

• Cette opération est visible dans la console Google Cloud et les journaux de l'environnement, comme toute autre opération de longue durée. Pendant l'exécution de l'opération, vous ne pouvez pas démarrer d'autres opérations au niveau de l'environnement (mais vous pouvez toujours exécuter des DAG Airflow).

• Dans certains cas, les mises à niveau automatiques de l'infrastructure peuvent redémarrer les composants Airflow. Lors de ces redémarrages, les nœuds de calcul Airflow sont arrêtés de manière concertée avec un délai de grâce de 24 heures. Si des tâches prennent plus de 24 heures à s'exécuter, envisagez d'utiliser des opérateurs différables. Une mise à niveau peut entraîner une courte période d'indisponibilité des composants d'infrastructure de l'environnement, tels que la surveillance de l'environnement.

Limites des opérations de mise à niveau

Les opérations de mise à niveau sont soumises aux limites suivantes:

• Vous ne pouvez pas revenir à une version ou à un build antérieurs d'Airflow.

• Vous ne pouvez pas mettre à niveau votre environnement si la base de données Airflow contient plus de 20 Go de données. Lors d'une mise à niveau, un avertissement s'affiche si la taille de la base de données Airflow dépasse 20 Go. Dans ce cas, effectuez la maintenance de la base de données pour réduire la taille.

• Si vous utilisez le mécanisme XCom pour transférer des fichiers, assurez-vous de l'utiliser conformément aux consignes d'Airflow. Le transfert de fichiers volumineux ou d'un grand nombre de fichiers à l'aide de XCom a un impact sur les performances de la base de données Airflow et peut entraîner des échecs lors du chargement d'instantanés ou de la mise à niveau de votre environnement. Pensez à utiliser des solutions alternatives telles que Cloud Storage pour transférer de grands volumes de données.

Avant de commencer

• Nous vous recommandons de créer un nouvel instantané de l'environnement afin de pouvoir le recréer si nécessaire.

• Votre compte doit disposer d'un rôle permettant de déclencher des opérations de mise à niveau d'environnement. De plus, le compte de service de l'environnement doit disposer d'un rôle doté d'autorisations suffisantes pour effectuer des opérations de mise à niveau. Pour en savoir plus, consultez la section Contrôle des accès.

Vérifier que votre environnement est à jour

Cloud Composer affiche des avertissements lorsque le build Airflow de votre environnement approche de la date de fin de prise en charge. Vous pouvez utiliser ces avertissements pour que votre environnement reste toujours compatible.

Cloud Composer effectue le suivi de la version et du build Airflow sur lesquels repose votre environnement. Lorsque l'image approche de la date de fin de prise en charge, un avertissement apparaît dans la liste des environnements et sur la page Détails de l'environnement.

Pour vérifier si votre environnement est à jour:

Afficher les suggestions de mise à niveau

Cloud Composer fournit une liste des builds Airflow vers lesquels vous pouvez mettre à niveau votre environnement.

Pour afficher les versions Cloud Composer suggérées pour une mise à niveau:

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

gcloud composer environments list-upgrades example-environment \
  --location us-central1

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Vérifier les conflits de packages PyPI avant la mise à niveau

Vous pouvez vérifier si les packages PyPI installés dans votre environnement présentent des conflits avec les packages préinstallés dans la nouvelle version ou version d'Airflow.

Une vérification réussie signifie qu'il n'y a pas de conflits de dépendance des packages PyPI entre la version actuelle et la version spécifiée. Toutefois, une opération de mise à niveau peut échouer pour d'autres raisons.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --airflow-version airflow-2.10.2-build.11

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-3-airflow-2.10.2-build.11. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

{
  "imageVersion": "VERSION"
}

Mettre à niveau votre environnement

Pour mettre à niveau votre environnement vers une nouvelle version ou version d'Airflow:

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --airflow-version airflow-2.10.2-build.11

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-3-airflow-2.10.2-build.11"
      }
    }
  }

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "airflow-2.10.2-build.11"
    }
  }
}

Étape suivante

• Liste des versions
• Gestion des versions Cloud Composer
• Mettre à jour des environnements