Criar e executar jobs em lote usando o Terraform e o Cloud Scheduler

Criar o diretório e o arquivo de configuração do Terraform

Criar um diretório para o Terraform e um arquivo de configuração que defina os recursos que você quer criar ou atualizar com o Terraform. O arquivo de configuração de exemplo deste tutorial define um cron job do Cloud Scheduler chamado batch-job-invoker. Quando ativado, o cron job batch-job-invoker é executado a cada cinco minutos para criar uma nova instância do Job em lote.

1. Para criar um diretório e um novo arquivo de configuração do Terraform (.tf) nesse diretório, digite o comando a seguir e pressione Enter:

   mkdir terraform && cd terraform && cat > main.tf
   

   Esse comando cria o diretório terraform, direciona você até ele e começa a definir um novo arquivo de configuração main.tf na próxima linha.

2. Copie e cole a seguinte configuração do Terraform:

   # define variables
   variable "project_id" {
     type        = string
     description = "The project name to use."
     default = "PROJECT_ID"
   }
   
   variable "project_number" {
     type        = string
     description = "The project number to use."
     default = "PROJECT_NUMBER"
   }
   
   variable "region" {
     type        = string
     description = "The region where resources are created."
     default = "us-central1"
   }
   
   variable "cloud_scheduler_service_account_email" {
     type        = string
     description = "The service account email."
     default = "CLOUD_SCHEDULER_SERVICE_ACCOUNT_EMAIL"
   }
   
   variable "batch_service_account_email" {
     type        = string
     description = "The service account email."
     default = "BATCH_SERVICE_ACCOUNT_EMAIL"
   }
   
   # define a Cloud Scheduler cron job which triggers Batch jobs
   resource "google_cloud_scheduler_job" "batch-job-invoker" {
     paused           = false # this cron job is enabled
     name             = "batch-job-invoker"
     project          = var.project_id
     region           = var.region
     schedule         = "*/5 * * * *" # when enabled, run every 5 minutes
     time_zone        = "America/Los_Angeles"
     attempt_deadline = "180s"
   
     retry_config {
       max_doublings        = 5
       max_retry_duration   = "0s"
       max_backoff_duration = "3600s"
       min_backoff_duration = "5s"
     }
   
     # when this cron job runs, create and run a Batch job
     http_target {
       http_method = "POST"
       uri = "https://batch.googleapis.com/v1/projects/${var.project_number}/locations/${var.region}/jobs"
       headers = {
         "Content-Type" = "application/json"
         "User-Agent"   = "Google-Cloud-Scheduler"
       }
       # Batch job definition
       body = base64encode(<<EOT
       {
         "taskGroups":[
           {
             "taskSpec": {
               "runnables":{
                 "script": {
                   "text": "echo Hello world! This job was created using Terraform and Cloud Scheduler."
                 }
               }
             }
           }
         ],
         "allocationPolicy": {
           "serviceAccount": {
             "email": "${var.batch_service_account_email}"
           }
         },
         "labels": {
           "source": "terraform_and_cloud_scheduler_tutorial"
         },
         "logsPolicy": {
           "destination": "CLOUD_LOGGING"
         }
       }
       EOT
       )
       oauth_token {
         scope                 = "https://www.googleapis.com/auth/cloud-platform"
         service_account_email = var.cloud_scheduler_service_account_email
       }
     }
   }
   
   

   Substitua:

   • PROJECT_ID: o ID do projeto do seu projeto.
   • PROJECT_NUMBER: o número do projeto do seu projeto.

   • CLOUD_SCHEDULER_SERVICE_ACCOUNT_EMAIL: o e-mail da conta de serviço que você preparou para o cron job do Cloud Scheduler.

     Por exemplo, para usar Conta de serviço padrão do Compute Engine, especifique o seguinte:

     PROJECT_NUMBER-compute@developer.gserviceaccount.com
     

   • BATCH_SERVICE_ACCOUNT_EMAIL: o endereço de e-mail da conta de serviço que você preparou para trabalhos em lote.

     Por exemplo, para usar a conta de serviço padrão do Compute Engine, especifique o seguinte:

     PROJECT_NUMBER-compute@developer.gserviceaccount.com
     

   Essa configuração do Terraform define algumas variáveis de entrada e um job cron que entra em contato com o método da API para criar um job em lote.

3. Para salvar e fechar o arquivo, pressione Ctrl+D (ou Command+D no macOS).

Implantar a configuração do Terraform para criar o cron job

Implantar a configuração do Terraform inicializando-o e gerando as mudanças planejadas e aplicar essas alterações. Depois de implantar o Terraform do projeto, descreva os recursos do projeto para verificar se O Terraform criou o cron job batch-job-invoker.

1. Inicialize o Terraform no diretório:

   terraform init
   

   O resultado será assim:

   ...
   Terraform has been successfully initialized!
   
   You may now begin working with Terraform. Try running "terraform plan" to see
   any changes that are required for your infrastructure. All Terraform commands
   should now work.
   
   If you ever set or change modules or backend configuration for Terraform,
   rerun this command to reinitialize your working directory. If you forget, other
   commands will detect it and remind you to do so if necessary.
   

2. Gere o plano de execução do Terraform com base no estado atual da projeto e o arquivo de configuração:

   terraform plan
   

   A saída é semelhante a esta, que mostra que o plano é Crie o cron job batch-job-invoker:

   Terraform used the selected providers to generate the following execution plan. Resource actions are indicated with the following symbols:
     + create
   
   Terraform will perform the following actions:
   
     # google_cloud_scheduler_job.batch-job-invoker will be created
     + resource "google_cloud_scheduler_job" "batch-job-invoker" {
         + id        = (known after apply)
         + name      = "batch-job-invoker"
         + paused    = false
         + project   = "PROJECT_ID"
         + region    = "us-central1"
         + schedule  = "*/5 * * * *"
         + state     = (known after apply)
         + time_zone = "America/Los_Angeles"
   
         + http_target {
             + body        = "..."
             + headers     = {
                 + "Content-Type" = "application/json"
                 + "User-Agent"   = "Google-Cloud-Scheduler"
               }
             + http_method = "POST"
             + uri         = "https://batch.googleapis.com/v1/projects/PROJECT_NUMBER/locations/us-central1/jobs"
   
             + oauth_token {
                 + scope                 = "https://www.googleapis.com/auth/cloud-platform"
                 + service_account_email = "CLOUD_SCHEDULER_SERVICE_ACCOUNT_EMAIL"
               }
           }
   
         + retry_config {
             + max_backoff_duration = "3600s"
             + max_doublings        = 5
             + max_retry_duration   = "0s"
             + min_backoff_duration = "5s"
             + retry_count          = (known after apply)
           }
       }
   
   Plan: 1 to add, 0 to change, 0 to destroy.
   
   ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
   
   Note: You didn't use the -out option to save this plan, so Terraform can't guarantee to take exactly these actions if you run "terraform apply" now.
   

3. Para aplicar o plano e criar o batch-job-invoker, siga estas etapas:

   1. Digite este comando:

      terraform apply
      

      A saída é semelhante ao comando terraform plan anterior, mas termina com uma solicitação de confirmação.

   2. Para confirmar e aplicar o plano, digite yes.

      O resultado será assim:

      google_cloud_scheduler_job.batch-job-invoker: Creating...
      google_cloud_scheduler_job.batch-job-invoker: Creation complete after 0s [id=projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker]
      
      Apply complete! Resources: 1 added, 0 changed, 0 destroyed.
      

4. Para verificar se o cron job batch-job-invoker existe e está ativado, faça o seguinte: descrevê-la:

   gcloud scheduler jobs describe batch-job-invoker --location us-central1
   

   O resultado será assim:

   attemptDeadline: 180s
   httpTarget:
     body: ...
     headers:
       Content-Type: application/json
       User-Agent: Google-Cloud-Scheduler
     httpMethod: POST
     oauthToken:
       scope: https://www.googleapis.com/auth/cloud-platform
       serviceAccountEmail: CLOUD_SCHEDULER_SERVICE_ACCOUNT_EMAIL
     uri: https://batch.googleapis.com/v1/projects/PROJECT_NUMBER/locations/us-central1/jobs
   lastAttemptTime: '...'
   name: projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker
   retryConfig:
     maxBackoffDuration: 3600s
     maxDoublings: 5
     maxRetryDuration: 0s
     minBackoffDuration: 5s
   schedule: '*/5 * * * *'
   scheduleTime: '...'
   state: ENABLED
   status: {}
   timeZone: America/Los_Angeles
   userUpdateTime: '...'
   

   Na saída, verifique se o campo state está definido como ENABLED.

Verificar se o cron job cria um job em lote

Verifique se o cron job batch-job-invoker está criando corretamente Jobs em lote.

1. Aguarde cinco minutos para que o job cron seja executado automaticamente ou acione o job cron para execução imediata:

   gcloud scheduler jobs run batch-job-invoker --location us-central1
   

2. Liste os jobs em lote criados pelo job de cron batch-job-invoker:

   gcloud batch jobs list \
   --filter labels.source=\"terraform_and_cloud_scheduler_tutorial\" \
   --sort-by ~createTime
   

   • O --filter labels.source=\"terraform_and_cloud_scheduler_tutorial\" filtra a lista para incluir apenas jobs em lote que tem um rótulo com a chave source e o valor terraform_and_cloud_scheduler_tutorial.
   • A flag --sort-by ~createTime classifica a lista da mais recente para a mais antiga.

Atualizar a configuração do Terraform para pausar o cron job

Depois de ter o número desejado de jobs em lote, atualize e implante a configuração do Terraform para pausar o job de cron batch-job-invoker. Se você quiser atualizar outras propriedades do cron job ou futuros jobs do Batch, o mesmo processo se aplica.

1. Atualize o arquivo de configuração do Terraform para pausar o trabalho cron definindo o campo paused como true:

   sed -i 's/paused           = false # this cron job is enabled/paused           = true # this cron job is paused/g' main.tf
   

2. Gere o plano de execução do Terraform com base no estado atual da projeto e o arquivo de configuração:

   terraform plan
   

   A saída é semelhante à seguinte, que mostra que o plano é Atualize o valor do campo paused de false para true:

   google_cloud_scheduler_job.batch-job-invoker: Refreshing state... [id=projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker]
   
   Terraform used the selected providers to generate the following execution plan. Resource actions are indicated with the following symbols:
     ~ update in-place
   
   Terraform will perform the following actions:
   
     # google_cloud_scheduler_job.batch-job-invoker will be updated in-place
     ~ resource "google_cloud_scheduler_job" "batch-job-invoker" {
           id               = "projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker"
           name             = "batch-job-invoker"
         ~ paused           = false -> true
           # (6 unchanged attributes hidden)
   
         ~ http_target {
             ~ headers     = {
                 + "User-Agent"   = "Google-Cloud-Scheduler"
                   # (1 unchanged element hidden)
               }
               # (3 unchanged attributes hidden)
   
               # (1 unchanged block hidden)
           }
   
           # (1 unchanged block hidden)
       }
   
   Plan: 0 to add, 1 to change, 0 to destroy.
   
   ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
   
   Note: You didn't use the -out option to save this plan, so Terraform can't guarantee to take exactly these actions if you run "terraform apply" now.
   

3. Para aplicar o plano e atualizar o job do cron batch-job-invoker, siga estas etapas:

   1. Digite este comando:

      terraform apply
      

      A saída é semelhante ao comando terraform plan anterior, mas termina com uma solicitação de confirmação.

   2. Para confirmar e aplicar o plano, digite yes.

      O resultado será assim:

      google_cloud_scheduler_job.batch-job-invoker: Modifying... [id=projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker]
      google_cloud_scheduler_job.batch-job-invoker: Modifications complete after 1s [id=projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker]
      
      Apply complete! Resources: 0 added, 1 changed, 0 destroyed.
      

4. Para verificar se o job de cron batch-job-invoker está pausado, descreva-o:

   gcloud scheduler jobs describe batch-job-invoker --location us-central1
   

   O resultado será assim:

   attemptDeadline: 180s
   httpTarget:
     body: ...
     headers:
       Content-Type: application/json
       User-Agent: Google-Cloud-Scheduler
     httpMethod: POST
     oauthToken:
       scope: https://www.googleapis.com/auth/cloud-platform
       serviceAccountEmail: CLOUD_SCHEDULER_SERVICE_ACCOUNT_EMAIL
     uri: https://batch.googleapis.com/v1/projects/PROJECT_NUMBER/locations/us-central1/jobs
   lastAttemptTime: '...'
   name: projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker
   retryConfig:
     maxBackoffDuration: 3600s
     maxDoublings: 5
     maxRetryDuration: 0s
     minBackoffDuration: 5s
   schedule: '*/5 * * * *'
   scheduleTime: '...'
   state: PAUSED
   status: {}
   timeZone: America/Los_Angeles
   userUpdateTime: '...'
   

   Na saída, verifique se o campo state está definido como PAUSED.