Criar e usar VMs do Spot

Nesta página, explicamos como criar e gerenciar VMs do Spot, incluindo:

• como criar, iniciar e identificar VMs do Spot;
• como detectar, processar e testar a preempção das VMs do Spot;
• práticas recomendadas para VMs do Spot;

As VMs do Spot são instâncias de máquina virtual (VM, na sigla em inglês) com o modelo de provisionamento do Spot. As VMs do Spot estão disponíveis com um desconto de 60-91% em comparação com o preço das VMs padrão. No entanto, o Compute Engine pode liberar os recursos antecipando as VMs spot a qualquer momento. As VMs do Spot são recomendadas apenas para aplicativos tolerantes a falhas que resistam à preempção da VM. Verifique se o aplicativo consegue processar a preempção antes de decidir criar VMs do Spot.

Antes de começar

• Leia a documentação sobre VMs do Spot:
• Analise as limitações e os preços das VMs do Spot.
• Para evitar que as VMs do Spot consumam suas cotas para CPUs, GPUs e discos das VMs padrão, solicite a cota preemptiva para as VMs do Spot.
• Configure a autenticação, caso ainda não tenha feito isso. A autenticação é o processo de verificação da sua identidade para acesso a serviços e APIs do Google Cloud. Para executar códigos ou amostras de um ambiente de desenvolvimento local, autentique-se no Compute Engine da seguinte maneira.
  

  Select the tab for how you plan to use the samples on this page:

  Console

  When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

  gcloud

  1. Install the Google Cloud CLI, then initialize it by running the following command:

     gcloud init

  2. Set a default region and zone.

  Terraform

  Para usar os exemplos do Terraform nesta página em um ambiente de desenvolvimento local, instale e inicialize a gcloud CLI e, em seguida, configure o Application Default Credentials com suas credenciais de usuário.

  1. Install the Google Cloud CLI.

  2. To initialize the gcloud CLI, run the following command:

     gcloud init

  3. If you're using a local shell, then create local authentication credentials for your user account:

     gcloud auth application-default login

     You don't need to do this if you're using Cloud Shell.

  Confira mais informações em Set up authentication for a local development environment.

  REST

  Para usar as amostras da API REST nesta página em um ambiente de desenvolvimento local, use as credenciais fornecidas para gcloud CLI.

  Install the Google Cloud CLI, then initialize it by running the following command:

  gcloud init

  Para mais informações, consulte Autenticar para usar REST na documentação de autenticação do Google Cloud.

Criar uma VM do Spot

Crie uma VM do Spot usando o console do Cloud, a CLI gcloud ou a API Compute Engine. Uma VM do Spot é qualquer VM configurada para usar o modelo de provisionamento do Spot:

• Modelo de provisionamento de VM definido como Spot no console do Cloud
• --provisioning-model=SPOT na CLI gcloud
• "provisioningModel": "SPOT" na API Compute Engine

gcloud compute instances create VM_NAME \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION

gcloud compute instances create VM_NAME \
    --provisioning-model=SPOT \
    [--image=IMAGE | --image-family=IMAGE_FAMILY] \
    --image-project=IMAGE_PROJECT \
    --machine-type=MACHINE_TYPE \
    --instance-termination-action=TERMINATION_ACTION

resource "google_compute_instance" "spot_vm_instance" {
  name         = "spot-instance-name"
  machine_type = "f1-micro"
  zone         = "us-central1-c"

  boot_disk {
    initialize_params {
      image = "debian-cloud/debian-11"
    }
  }

  scheduling {
    preemptible                 = true
    automatic_restart           = false
    provisioning_model          = "SPOT"
    instance_termination_action = "STOP"
  }

  network_interface {
    # A default network is created for all GCP projects
    network = "default"
    access_config {
    }
  }
}

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
 "machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
 "name": "VM_NAME",
 "disks": [
   {
     "initializeParams": {
       "sourceImage": "projects/IMAGE_PROJECT/global/images/IMAGE"
     },
     "boot": true
   }
 ]
 "scheduling":
 {
     "provisioningModel": "SPOT",
     "instanceTerminationAction": "TERMINATION_ACTION"
 },
 ...
}

Para criar várias VMs do Spot com as mesmas propriedades, é possível criar um modelo de instância e usar o modelo para criar um grupo gerenciado de instâncias (MIG). Para mais informações, consulte Práticas recomendadas.

Iniciar VMs do Spot

Assim como outras VMs, as VMs do Spot começam na criação. Da mesma forma, se as VMs do Spot forem interrompidas, será possível reiniciá-las para retomar o estado RUNNING. É possível interromper e reiniciar VMs do Spot interrompidas quantas quiser, desde que haja capacidade. Para mais informações, consulte Ciclo de vida da instância da VM.

Se o Compute Engine interromper uma ou mais VMs do Spot em um grupo gerenciado de gerenciadas (MIG, na sigla em inglês) de escalonamento automático ou um cluster do Google Kubernetes Engine (GKE), o grupo reiniciará as VMs quando os recursos ficarem disponíveis novamente.

Identificar o modelo de provisionamento e a ação de encerramento de uma VM

Identifique o modelo de provisionamento de uma VM para ver se ela é uma VM padrão, uma VM do Spot ou uma VM preemptiva. Em uma VM do Spot, também é possível identificar a ação de encerramento. É possível identificar o modelo de provisionamento e a ação de encerramento de uma VM usando o console do Google Cloud, a CLI gcloud ou a API Compute Engine.

gcloud compute instances describe VM_NAME

GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME

Processar a preempção com um script de desligamento

Quando as VMs do Spot são interrompidas pelo Compute Engine, é possível usar um script de encerramento para executar ações de limpeza antes de cada VM ser interrompida. Por exemplo, é possível interromper normalmente um processo em execução e copiar um arquivo de checkpoint para o Cloud Storage.

Veja a seguir um exemplo de script de encerramento que pode ser adicionado para executar VMs do Spot ou ao criar novas VMs do Spot. Esse script é executado quando a instância começa a ser encerrada e antes que o comando kill normal do sistema operacional interrompa todos os processos restantes. Após o encerramento normal do programa desejado, o script fará o upload paralelo de um arquivo de checkpoint para um bucket do Cloud Storage.

#!/bin/bash

MY_PROGRAM="PROGRAM_NAME" # For example, "apache2" or "nginx"
MY_USER="LOCAL_USER"
CHECKPOINT="/home/$MY_USER/checkpoint.out"
GSUTIL_OPTS="-m -o GSUtil:parallel_composite_upload_threshold=32M"
BUCKET_NAME="BUCKET_NAME" # For example, "my-checkpoint-files" (without gs://)

echo "Shutting down!  Seeing if ${MY_PROGRAM} is running."

# Find the newest copy of $MY_PROGRAM
PID="$(pgrep -n "$MY_PROGRAM")"

if [[ "$?" -ne 0 ]]; then
  echo "${MY_PROGRAM} not running, shutting down immediately."
  exit 0
fi

echo "Sending SIGINT to $PID"
kill -2 "$PID"

# Portable waitpid equivalent
while kill -0 "$PID"; do
   sleep 1
done

echo "$PID is done, copying ${CHECKPOINT} to gs://${BUCKET_NAME} as ${MY_USER}"

su "${MY_USER}" -c "gsutil $GSUTIL_OPTS cp $CHECKPOINT gs://${BUCKET_NAME}/"

echo "Done uploading, shutting down."

Para esse script, presume-se que:

• A instância foi criada com pelo menos acesso de leitura/gravação ao Cloud Storage. Para instruções sobre como criar uma VM com os escopos apropriados, consulte a documentação de autenticação.

• você tenha um bucket do Cloud Storage e permissão para gravar nele.

Para adicionar esse script a uma VM, configure-o para trabalhar com um aplicativo na VM e adicione-o aos metadados da VM.

1. Copie ou faça o download do script de encerramento:

   • Copie o script de encerramento anterior após substituir:

     • PROGRAM_NAME é o nome do processo ou programa que você quer encerrar; Por exemplo, apache2 ou nginx.
     • LOCAL_USER é o nome de usuário que você usou para fazer login na máquina virtual;
     • BUCKET_NAME é o nome do bucket do Cloud Storage em que você quer salvar o arquivo de checkpoint do programa. Nesse caso, o nome do bucket não começa com gs://.

   • Faça o download do script de encerramento na estação de trabalho local e substitua as seguintes variáveis no arquivo:

     • [PROGRAM_NAME] é o nome do processo ou programa que você quer encerrar. Por exemplo, apache2 ou nginx.
     • [LOCAL_USER] é o nome de usuário que você usou para fazer login na máquina virtual.
     • [BUCKET_NAME] é o nome do bucket do Cloud Storage em que você quer salvar o arquivo de checkpoint do programa. Observe que o nome do bucket não começa com gs:// nesse caso.

2. Adicione o script de encerramento a uma nova VM ou a uma VM atual.

Detectar a preempção das VMs do Spot

Determine se as VMs do Spot foram interrompidas pelo Compute Engine usando o console do Google Cloud, a CLI gcloud ou a API Compute Engine.

gcloud compute operations list \
    --filter="operationType=compute.instances.preempted"

gcloud compute operations list \
    --filter="operationType=compute.instances.preempted AND targetLink:instances/BASE_INSTANCE_NAME"

NAME                  TYPE                         TARGET                                        HTTP_STATUS STATUS TIMESTAMP
systemevent-xxxxxxxx  compute.instances.preempted  us-central1-f/instances/example-instance-xxx  200         DONE   2015-04-02T12:12:10.881-07:00

gcloud compute operations describe SYSTEM_EVENT \
    --zone=ZONE

...
operationType: compute.instances.preempted
progress: 100
selfLink: https://compute.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f/operations/systemevent-xxxxxxxx
startTime: '2015-04-02T12:12:10.881-07:00'
status: DONE
statusMessage: Instance was preempted.
...

GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/operations

operationType="compute.instances.preempted"

operationType="compute.instances.preempted" AND
targetLink="https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME

{
  "kind": "compute#operation",
  "id": "15041793718812375371",
  "name": "systemevent-xxxxxxxx",
  "zone": "https://www.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f",
  "operationType": "compute.instances.preempted",
  "targetLink": "https://www.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f/instances/example-instance",
  "targetId": "12820389800990687210",
  "status": "DONE",
  "statusMessage": "Instance was preempted.",
  ...
}

Outra opção é determinar se uma VM passou por interrupção forçada dentro da própria VM. Isso é útil quando você quer lidar com um encerramento decorrente de uma preempção do Compute Engine de maneira diferente de um encerramento normal em um script de encerramento. Para fazer isso, basta verificar o valor preempted do servidor de metadados nos metadados padrão da VM.

Por exemplo, use curl na VM para receber o valor de preempted:

curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted" -H "Metadata-Flavor: Google"
TRUE

Se esse valor for TRUE, significa que a VM passou por interrupção forçada pelo Compute Engine. Caso contrário, será FALSE.

Para usar isso fora de um script de encerramento, anexe ?wait_for_change=true ao URL. Será executada uma solicitação HTTP GET pendente que só retorna quando os metadados são alterados e a VM foi interrompida.

curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted?wait_for_change=true" -H "Metadata-Flavor: Google"
TRUE

Como testar as configurações de preempção

Para forçar a interrupção, é possível executar eventos de manutenção simulados nas instâncias. Use esse recurso para testar como seus aplicativos processam VMs do Spot. Leia Simular um evento de manutenção do host para aprender a testar eventos de manutenção nas instâncias.

Também é possível interromper a instância de VM para simular a preempção da VM. Isso pode ser usado em vez de simular um evento de manutenção e para evitar limites de cota.

Práticas recomendadas

Veja algumas práticas recomendadas para ajudar você a aproveitar ao máximo as VMs do Spot.

• Use modelos de instância. Em vez de criar VMs do Spot uma de cada vez, é possível usar modelos de instância para criar várias VMs do Spot com as mesmas propriedades. Os modelos de instância são necessários para usar MIGs. Outra alternativa possível é criar várias VMs do Spot usando a API de instância em massa.

• Use MIGs para distribuir regionalmente e recriar automaticamente as VMs do Spot. Use MIGs para tornar as cargas de trabalho das VMs do Spot mais flexíveis e resilientes. Por exemplo, use MIGs regionais para distribuir VMs em várias zonas, o que ajuda a mitigar erros de disponibilidade de recursos. Além disso, use a recuperação automática para recriar automaticamente as VMs do Spot após a interrupção forçada.

• Escolha menores tipos de máquina. Os recursos de VMs do Spot saem da capacidade extra e de backup do Google Cloud. A capacidade de VMs do Spot geralmente é mais fácil para menores tipos de máquinas, o que significa tipos de máquina com menos recursos, como vCPUs e memória. É possível conseguir mais capacidade para VMs do Spot selecionando um menor tipo de máquina personalizado, mas a capacidade é ainda mais provável para menores tipos de máquina predefinidos. Por exemplo, em comparação com a capacidade do tipo de máquina predefinido n2-standard-32, a capacidade para o tipo de máquina personalizado n2-custom-24-96 é mais provável, mas a capacidade para o tipo de máquina predefinido n2-standard-16 é ainda mais provável.

• Executar clusters grandes de VMs do Spot durante os horários de pico. A carga nos data centers do Google Cloud varia de acordo com o local e a hora do dia, mas costuma ser mais baixa nas noites e fins de semana. Assim, noites e fins de semana são os melhores momentos para executar grandes clusters de VMs do Spot.

• Desenvolver os aplicativos para serem tolerantes a falhas e preempção. É importante se preparar para mudanças nos padrões de preempção em diferentes momentos. Por exemplo, se uma zona sofrer uma interrupção parcial, uma grande quantidade de VMs do Spot poderão ser interrompidas à força para liberar espaço para VMs padrão que precisam ser movidas como parte da recuperação. Nesse pequeno intervalo de tempo, a taxa de preempção será muito diferente de qualquer outro dia. Se seu aplicativo considera que as preempções sempre ocorrem em pequenos grupos, pode ser que você não esteja preparado para um evento desse tipo.

• Tentar criar novamente VMs do Spot que foram interrompidas. Se as VMs do Spot tiverem sido interrompidas, tente criar novas VMs do Spot uma ou duas vezes antes de voltar às VMs padrão. Dependendo dos seus requisitos, é recomendável combinar VMs padrão e do Spot nos clusters para garantir que o trabalho ocorra em um ritmo adequado.

• Usar scripts de encerramento. Gerencie avisos de interrupção e de preempção com um script de encerramento que salva o progresso de um job. Dessa forma, é possível continuar de onde você parou em vez de começar do zero.

A seguir

• Conecte-se à instância da VM.
• Saiba mais sobre scripts de encerramento.
• Saiba como limitar o ambiente de execução de uma VM.
• Saiba mais sobre modelos de instância.
• Saiba mais sobre MIGs.