Especificar janelas de manutenção

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Nesta página, você aprenderá como definir janelas de manutenção para seus ambientes.

Sobre as janelas de manutenção

Uma janela de manutenção é um período em que você permite que o Cloud Composer realize operações de manutenção. Por exemplo, pode garantir que as execuções de tarefas críticas não sejam interrompidas por especificar janelas de manutenção fora dos horários de programação do DAG.

Com as janelas de manutenção, você controla os períodos em que manutenção do seu ambiente:

• Se você definir janelas de manutenção personalizadas para seu ambiente, O Cloud Composer realiza manutenção durante esses períodos definidos.

• Se você não definir janelas de manutenção personalizadas para o ambiente, O Cloud Composer faz a manutenção durante janelas de manutenção.

O que acontece durante as janelas de manutenção

Ao especificar janelas de manutenção, você disponibiliza pelo menos 12 horas em uma única semana para operações de manutenção:

• O ambiente permanece disponível durante as janelas de manutenção. Alguns componentes do seu ambiente podem ficar temporariamente indisponíveis quando as operações de manutenção estão em andamento.

• As 12 horas são necessárias para que o Cloud Composer tenha tempo suficiente para programar e realizar todas as operações de manutenção. Isso não significa que as operações de manutenção levam 12 horas ou acontecem toda semana.

Ainda é possível executar seus DAGs durante as janelas de manutenção, desde que seja aceitável que algumas tarefas possam ser interrompidas e tentadas novamente. Se você executar DAGs durante as janelas de manutenção, ative novas tentativas de tarefas. É possível configurar novas tentativas de tarefas no nível da configuração do Airflow, do DAG ou da tarefa.

As tarefas que levam menos de 55 minutos para serem executadas são geralmente não são afetadas pelas operações de manutenção, novas tentativas ativadas para suportar reinicializações do programador. O programador pode ser reiniciado durante operações padrão do Cloud Composer, fora das janelas de manutenção.

O Cloud Composer informa aos workers do Airflow que uma operação de manutenção está prestes a acontecer. Um worker do Airflow finaliza as tarefas já iniciadas e sem escolher novas tarefas. Essas novas tarefas são executadas por workers do Airflow que não passam por operações de manutenção.

Se você usa um ambiente altamente resiliente, é provável que os componentes do Airflow do seu ambiente sejam reiniciados em momentos diferentes durante uma operação de manutenção (isso depende do tipo operação de manutenção). No geral, o uso de um ambiente altamente resiliente reduz o tempo de inatividade do ambiente durante as operações de manutenção.

As operações de manutenção têm os seguintes efeitos no seu ambiente:

• A interface do Airflow pode estar temporariamente indisponível.

• Alterar alguns parâmetros do seu ambiente ou fazer upgrade para uma versão posterior temporariamente.

• As consultas SQL diretas para o banco de dados do Airflow podem levar mais tempo do que o normal e pode exigir uma nova tentativa.

• Algumas tarefas do Airflow que levam mais de 55 minutos para serem executadas podem ser interrompidas. Após a conclusão da operação de manutenção, O Airflow programa novas tentativas para essas tarefas, caso não seja configurado de outra forma.

Janelas de manutenção padrão

As janelas de manutenção padrão no Cloud Composer 2 vão de 00:00:00 a 04:00:00 (GMT) nas sextas-feiras, sábados e domingos de todas as semanas.

Como usar janelas de manutenção

As operações de manutenção podem afetar a execução dos DAGs e do Airflow tarefas. Portanto, recomendamos que você faça o seguinte:

1. Defina janelas de manutenção para seus ambientes do Cloud Composer.

2. Programe a execução do DAG fora das janelas de manutenção especificadas usando os parâmetros start_date e schedule_interval nos DAGs.

Especificar janelas de manutenção para novos ambientes

É possível especificar janelas de manutenção ao criar um ambiente. Para mais informações, consulte Criar ambientes.

Especificar janelas de manutenção para ambientes atuais

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --maintenance-window-start 'DATETIME_START' \
    --maintenance-window-end 'DATETIME_END' \
    --maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'

gcloud composer environments update example-environment \
  --location us-central1 \
  --maintenance-window-start '2023-01-01T01:00:00Z' \
  --maintenance-window-end '2023-01-01T07:00:00Z' \
  --maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'

{
  "config": {
    "maintenanceWindow": {
      "startTime": "DATETIME_START",
      "endTime": "DATETIME_END",
      "recurrence": "MAINTENANCE_RECURRENCE"
    }
  }
}

  // PATCH https://composer.googleapis.com/v1/projects/example-project/
  // locations/us-central1/environments/example-environment?updateMask=
  // config.maintenanceWindow

  {
    "config": {
      "maintenanceWindow": {
        "startTime": "2023-01-01T01:00:00Z",
        "endTime": "2023-01-01T07:00:00Z",
        "recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
      }
    }
  }

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    maintenance_window {
      start_time = "DATETIME_START"
      end_time = "DATETIME_END"
      recurrence = "MAINTENANCE_RECURRENCE"
    }
  }
}

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    maintenance_window {
      start_time = "2023-01-01T01:00:00Z"
      end_time = "2023-01-01T07:00:00Z"
      recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
    }
  }
}

A seguir

• Como criar ambientes
• Como atualizar ambientes
• Limpar o banco de dados do Airflow