Spécifier des intervalles de maintenance

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Cette page explique comment définir des intervalles de maintenance pour vos environnements.

À propos des intervalles de maintenance

Un intervalle de maintenance est une période pendant laquelle vous autorisez Cloud Composer à effectuer des opérations de maintenance. Par exemple, vous pouvez vous assurer que les exécutions de tâches critiques ne sont pas interrompues en spécifiant des intervalles de maintenance en dehors des heures de planification du DAG.

Les intervalles de maintenance vous permettent de contrôler les périodes pendant lesquelles la maintenance peut s'effectuer pour votre environnement:

• Si vous définissez des intervalles de maintenance personnalisés pour votre environnement, Cloud Composer effectue la maintenance pendant ces périodes définies.

• Si vous ne définissez pas d'intervalles de maintenance personnalisés pour votre environnement ou si vous spécifiez une valeur vide, Cloud Composer effectue la maintenance pendant les intervalles de maintenance par défaut.

Fonctionnement des intervalles de maintenance

Les intervalles de maintenance fonctionnent de la manière suivante:

• Les opérations de maintenance nécessitent au moins 12 heures par semaine.

• Vous pouvez utiliser plusieurs créneaux horaires, mais la durée de chaque créneau doit être d'au moins quatre heures.

• Votre environnement reste disponible pendant les intervalles de maintenance. Certains composants de votre environnement peuvent être temporairement indisponibles lorsque des opérations de maintenance sont en cours.

• Les 12 heures sont nécessaires pour que Cloud Composer ait suffisamment de temps pour planifier et effectuer toutes les opérations de maintenance. Cela ne signifie pas que les opérations de maintenance prennent 12 heures complètes ni même qu'elles ont lieu chaque semaine.

Vous pouvez toujours exécuter vos DAG pendant les intervalles de maintenance, à condition que certaines tâches puissent être interrompues et réessayées. Si vous exécutez des DAG pendant les intervalles de maintenance, assurez-vous d'activer les nouvelles tentatives de tâches. Vous pouvez configurer les nouvelles tentatives de tâches au niveau de la configuration Airflow, du DAG ou de la tâche.

Les tâches qui prennent moins de 24 heures à exécuter ne sont généralement pas affectées par les opérations de maintenance, mais elles doivent toujours avoir des tentatives de nouvelle exécution activées pour résister aux redémarrages du planificateur. Le planificateur peut redémarrer pendant les opérations Cloud Composer standards, en dehors des périodes de maintenance.

Cloud Composer informe les nœuds de calcul Airflow qu'une opération de maintenance est sur le point d'être effectuée. Un nœud de calcul Airflow termine les tâches déjà lancées et ne sélectionne pas de nouvelles tâches. Ces nouvelles tâches sont exécutées par des nœuds de calcul Airflow qui ne subissent pas d'opérations de maintenance.

Si vous utilisez un environnement hautement résilient, les composants Airflow de votre environnement sont susceptibles d'être redémarrés à différents moments lors d'une opération de maintenance (cela dépend du type d'opération de maintenance). Globalement, l'utilisation d'un environnement hautement résilient réduit les temps d'arrêt de votre environnement lors des opérations de maintenance.

Les opérations de maintenance ont les effets suivants sur votre environnement:

• L'interface utilisateur d'Airflow peut être temporairement indisponible.

• Cloud Composer peut effectuer une opération de mise à niveau automatique de l'infrastructure si des mises à niveau sont disponibles.

• La modification de certains paramètres de votre environnement peut être temporairement impossible.

• Certaines tâches Airflow qui prennent plus de 24 heures à s'exécuter peuvent être interrompues. Une fois l'opération de maintenance terminée, Airflow planifie des nouvelles tentatives pour ces tâches (si ce n'est pas configuré autrement).

Intervalles de maintenance par défaut

Les intervalles de maintenance par défaut dans Cloud Composer 3 sont définis comme suit:

• Toutes les heures sont indiquées dans le fuseau horaire local de la région où se trouve votre environnement, mais les heures d'été sont ignorées.
• Les intervalles de maintenance les mardi, mercredi, jeudi et vendredi sont compris entre 00:00:00 et 02:00:00.
• Les intervalles de maintenance sont compris entre 00:00:00 et 04:00:00 le samedi, le dimanche et le lundi.

Comment utiliser des intervalles de maintenance

Les opérations de maintenance peuvent avoir un impact sur l'exécution de vos DAG et des tâches Airflow. Nous vous recommandons donc de procéder comme suit:

1. Définissez des intervalles de maintenance pour vos environnements Cloud Composer.

2. Programmez les exécutions de DAG en dehors des intervalles de maintenance spécifiés en utilisant les paramètres start_date et schedule_interval dans vos DAG.

Spécifier des intervalles de maintenance pour les nouveaux environnements

Vous pouvez spécifier des intervalles de maintenance lorsque vous créez un environnement. Pour en savoir plus, consultez la page Créer des environnements.

Spécifier des intervalles de maintenance pour les environnements existants

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --maintenance-window-start 'DATETIME_START' \
    --maintenance-window-end 'DATETIME_END' \
    --maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'

gcloud composer environments update example-environment \
  --location us-central1 \
  --maintenance-window-start '2023-01-01T01:00:00Z' \
  --maintenance-window-end '2023-01-01T07:00:00Z' \
  --maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'

{
  "config": {
    "maintenanceWindow": {
      "startTime": "DATETIME_START",
      "endTime": "DATETIME_END",
      "recurrence": "MAINTENANCE_RECURRENCE"
    }
  }
}

  // PATCH https://composer.googleapis.com/v1/projects/example-project/
  // locations/us-central1/environments/example-environment?updateMask=
  // config.maintenanceWindow

  {
    "config": {
      "maintenanceWindow": {
        "startTime": "2023-01-01T01:00:00Z",
        "endTime": "2023-01-01T07:00:00Z",
        "recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
      }
    }
  }

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    maintenance_window {
      start_time = "DATETIME_START"
      end_time = "DATETIME_END"
      recurrence = "MAINTENANCE_RECURRENCE"
    }
  }
}

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    maintenance_window {
      start_time = "2023-01-01T01:00:00Z"
      end_time = "2023-01-01T07:00:00Z"
      recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
    }
  }
}

Étapes suivantes

• Créer des environnements
• Mettre à jour des environnements
• Nettoyer la base de données Airflow