Upgrade degli ambienti

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina descrive come eseguire l'upgrade dell'ambiente a una nuova versione di Airflow.

Informazioni sulle operazioni di upgrade

In Cloud Composer 3, non gestisci la versione di Cloud Composer del tuo ambiente:

• Cloud Composer esegue automaticamente l'upgrade dei componenti dell'infrastruttura del tuo ambiente. Questi componenti sono correlati alla funzionalità di Cloud Composer e non cambiano il funzionamento di Airflow o l'esecuzione dei DAG di Airflow.
• Cloud Composer non esegue automaticamente l'upgrade della versione e della compilazione di Airflow, dei componenti Airflow o dei componenti strettamente correlati ai carichi di lavoro Airflow. Non vengono modificati quando l'upgrade dei componenti dell'infrastruttura avviene automaticamente.
• Puoi eseguire l'upgrade manuale a una nuova versione o build di Airflow.

Ad esempio, puoi utilizzare la stessa versione e la stessa build di Airflow per diversi mesi senza eseguire upgrade e il tuo ambiente riceve comunque gli aggiornamenti, le correzioni e i miglioramenti più recenti di Cloud Composer dei componenti dell'infrastruttura dell'ambiente. Quando in un secondo momento decidi di passare a una nuova versione o build di Airflow, esegui l'upgrade della versione di Airflow nel tuo ambiente.

Informazioni sull'upgrade della versione di Airflow

L'ambiente modifica la versione o la build di Airflow nel seguente modo:

• Sei tu a controllare la versione (e la build) di Airflow del tuo ambiente. Puoi eseguire l'operazione di upgrade della versione di Airflow quando scegli di passare il tuo ambiente a una versione diversa di Airflow. Ad esempio, questo potrebbe accadere se la versione e la build attuali di Airflow non sono più supportate.

• Cloud Composer esegue il redeployment dei componenti Airflow dell'ambiente utilizzando la versione e la build di Airflow specificate.

• Cloud Composer applica le modifiche alla configurazione di Airflow, ad esempio i pacchetti PyPI personalizzati o le sostituzioni delle opzioni di configurazione di Airflow, se il tuo ambiente le aveva prima dell'upgrade.

• Cloud Composer aggiorna la connessione airflow_db di Airflow in modo che indichi il nuovo database Cloud SQL.

La modifica della versione di Airflow non cambia il modo in cui ti connetti alle risorse nel tuo ambiente, ad esempio l'URL del bucket del tuo ambiente o il server web di Airflow.

Informazioni sulle operazioni di upgrade automatico dell'infrastruttura

Cloud Composer esegue periodicamente operazioni di upgrade automatico dell'infrastruttura:

• Le operazioni di upgrade automatico dell'infrastruttura vengono eseguite periodicamente durante i periodi di manutenzione specificati per l'ambiente.

• Non è possibile disattivare gli upgrade automatici dell'infrastruttura in Cloud Composer 3. Puoi controllare i periodi di tempo in cui possono essere eseguiti gli upgrade automatici specificando periodi di manutenzione personalizzati per il tuo ambiente.

• Questa operazione è visibile nella console Google Cloud e nei log dell'ambiente, come qualsiasi altra operazione a lunga esecuzione. Mentre l'operazione è in esecuzione, non puoi avviare altre operazioni a livello di ambiente, ma puoi comunque eseguire i DAG di Airflow.

• In alcuni casi, gli upgrade automatici dell'infrastruttura possono riavviare i componenti di Airflow. Durante questi riavvii, i worker Airflow vengono terminati in modo corretto con un periodo di tolleranza di 24 ore. Se hai attività che richiedono più di 24 ore per essere completate, ti consigliamo di utilizzare gli operatori posticipabili. Un upgrade potrebbe comportare un breve periodo di indisponibilità per i componenti dell'infrastruttura dell'ambiente, ad esempio il monitoraggio dell'ambiente.

Limiti delle operazioni di upgrade

Le operazioni di upgrade presentano le seguenti limitazioni:

• Non puoi eseguire il downgrade a una versione o una build precedente di Airflow.

• Non puoi eseguire l'upgrade del tuo ambiente se il database Airflow contiene più di 20 GB di dati. Durante un upgrade, viene mostrato un avviso se le dimensioni del database Airflow superano i 20 GB. In questo caso, esegui la manutenzione del database per ridurre le dimensioni del database.

• Se utilizzi il meccanismo XCom per trasferire i file, assicurati di utilizzarlo in base alle linee guida di Airflow. Il trasferimento di file di grandi dimensioni o di un numero elevato di file utilizzando XCom influisce sul rendimento del database Airflow e può causare errori durante il caricamento degli snapshot o l'upgrade dell'ambiente. Valuta la possibilità di utilizzare alternative come Cloud Storage per trasferire grandi volumi di dati.

Prima di iniziare

• Ti consigliamo di creare un nuovo snapshot dell'ambiente per poterlo ricreare in caso di necessità.

• Il tuo account deve avere un ruolo che possa attivare le operazioni di upgrade dell'ambiente. Inoltre, l'account di servizio dell'ambiente deve avere un ruolo con autorizzazioni sufficienti per eseguire le operazioni di upgrade. Per ulteriori informazioni, consulta Controllo dell'accesso.

Verifica che l'ambiente sia aggiornato

Cloud Composer mostra avvisi quando la data di fine del supporto della compilazione Airflow del tuo ambiente si avvicina. Puoi utilizzare questi avvisi per mantenere sempre il tuo ambiente supportato.

Cloud Composer tiene traccia della versione e della compilazione di Airflow su cui si basa il tuo ambiente. Quando si avvicina la data di fine del supporto, puoi visualizzare un avviso nell'elenco degli ambienti e nella pagina Dettagli ambiente.

Per verificare se il tuo ambiente è aggiornato:

Visualizzare gli upgrade suggeriti

Cloud Composer fornisce un elenco di compilazioni Airflow a cui puoi eseguire l'upgrade del tuo ambiente.

Per visualizzare le versioni di Cloud Composer suggerite per un upgrade:

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

gcloud composer environments list-upgrades example-environment \
  --location us-central1

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Verificare la presenza di conflitti dei pacchetti PyPI prima dell'upgrade

Puoi verificare se i pacchetti PyPI installati nel tuo ambiente presentano conflitti con i pacchetti preinstallati nella nuova versione o build di Airflow.

Un controllo riuscito indica che non ci sono conflitti nelle dipendenze dei pacchetti PyPI tra la versione corrente e quella specificata. Tuttavia, un'operazione di upgrade potrebbe non riuscire per altri motivi.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --airflow-version airflow-2.10.2-build.11

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-3-airflow-2.10.2-build.11. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

{
  "imageVersion": "VERSION"
}

Eseguire l'upgrade dell'ambiente

Per eseguire l'upgrade dell'ambiente a una nuova versione o build di Airflow:

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --airflow-version airflow-2.10.2-build.11

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-3-airflow-2.10.2-build.11"
      }
    }
  }

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "airflow-2.10.2-build.11"
    }
  }
}

Passaggi successivi

• Elenco delle versioni
• Controllo delle versioni di Cloud Composer
• Aggiornare gli ambienti