Neste documento, explicamos como criar jobs para recursos reservados.
As reservas são um recurso do Compute Engine. Uma reserva oferece um nível de segurança muito alto na obtenção de capacidade para uma ou mais VMs com a configuração de hardware especificada. Uma reserva para uma VM gera custos para essa VM a partir da criação até a exclusão dela. No entanto, embora você esteja consumindo essa VM, o custo total será equivalente a uma VM sem reserva.
Em geral, as reservas são úteis quando a disponibilidade de capacidade é extremamente importante ou para evitar erros na aquisição de recursos. Especificamente no Batch, considere o uso de reservas dedicadas para ajudar a minimizar o tempo de agendamento do job ou tente usar reservas atuais enquanto elas não estiverem sendo usadas. Se você usou reservas insuficientes, como aquelas necessárias para descontos por compromisso de uso, poderá configurar jobs para tentar consumi-las enquanto não estiverem sendo usadas para otimizar os custos incorridos.
Para saber mais sobre reservas, consulte a documentação sobre reservas do Compute Engine.
Antes de começar
- Se você nunca usou o Batch, leia Primeiros passos com o Batch e ative-o concluindo os pré-requisitos para projetos e usuários.
- Verifique se você tem as permissões para criar uma reserva ou visualizar uma reserva atual que você quer que as VMs de um job consumam conforme necessário.
-
Para receber as permissões necessárias para criar um job, peça ao administrador para conceder a você os seguintes papéis do IAM:
-
Editor de jobs em lote (
roles/batch.jobsEditor
) no projeto -
Usuário da conta de serviço (
roles/iam.serviceAccountUser
) na conta de serviço do job, que, por padrão, é a conta de serviço padrão do Compute Engine
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
-
Editor de jobs em lote (
Restrições
Além das restrições gerais para reservas, o Batch também tem as seguintes restrições:
- As VMs de um job não podem consumir reservas compartilhadas.
- As VMs de um job não podem consumir reservas se especificar uma política de posicionamento compacto.
Requisitos
Nesta seção, resumimos os requisitos para que as VMs de um job consumam uma reserva. Para mais informações sobre todos os requisitos, consulte os requisitos gerais para reservas na documentação do Compute Engine e o procedimento para planejar sua configuração mais adiante neste documento.
Para que as VMs de um job geralmente sejam capazes de consumir uma reserva, todas as condições a seguir precisam ser atendidas:
O job e a reserva precisam especificar propriedades de VM que correspondam exatamente.
É preciso obedecer a todas as restrições neste documento e a todos os outros requisitos gerais para reservas.
Para que cada uma das VMs de um job consuma uma reserva com êxito, ela precisa ter capacidade não utilizada disponível durante o tempo de execução da VM.
A capacidade não utilizada de uma reserva é a diferença entre a contagem de VMs e o número de VMs que a consomem. As VMs tentam consumir reservas sempre que você tem capacidade de reserva não utilizada. Portanto, uma VM pode começar a consumir uma reserva quando é criada ou posteriormente no ambiente de execução. Uma VM não para de consumir uma reserva até que a VM pare de ser executada ou ela seja excluída.
Dependendo da capacidade de reserva total não utilizada, nenhuma, algumas ou todas as VMs de um job podem consumir reservas, e a quantidade de VMs reservadas pode variar durante o tempo de execução do job.
Criar e executar um job que possa consumir VMs reservadas
Planeje a configuração. Para garantir que o job e a reserva sejam compatíveis, conclua as etapas a seguir.
Para consumir uma reserva que já existe, crie um job com uma configuração correspondente. Caso contrário, se você planeja criar uma nova reserva, selecione as opções de configuração que preferir.
Determine as propriedades de reserva. Devido às restrições, o tipo de compartilhamento precisa ser single-project, que é a opção padrão para uma reserva. Determine os valores que você quer usar para as seguintes propriedades de reserva:
- Tipo de consumo*
- Contagem de VMs†
*O tipo de consumo da reserva (direcionado especificamente ou consumido automaticamente) determina quais VMs podem consumi-la.
†A contagem de VM representa a capacidade total de uma reserva. Ao decidir esse valor, considere o número de VMs do job.
Determine as propriedades da VM para o job e a reserva. Devido às restrições, nem o job nem a reserva podem especificar uma política de posicionamento compacto, que é a opção padrão para reservas e jobs. Determine os valores que você quer usar para as seguintes propriedades da VM, que precisam corresponder exatamente à reserva e ao job:
- Projeto
- Zona*
- Tipo de máquina†
- Plataforma mínima de CPU† (se houver‡)
- Tipo e contagem de GPU† (se houver‡)
- Tipo e contagem de SSD local† (se houver‡)
- Afinidade de reserva†#
*As VMs do job precisam estar localizadas na mesma zona que as VMs reservadas. Inclua essa zona no campo
allowedLocations[]
do job ou, se omitir o campoallowedLocations[]
, defina o local do job como a região que contém essa zona.†O job precisa definir todas essas propriedades usando os subcampos
policy
ou um modelo de instância de VM. Um job não pode especificar uma combinação de subcampospolicy
e um modelo.‡ Não é possível definir um campo opcional para um recurso e omitir do outro. Defina ou omita o campo opcional para a reserva e o job. Se o job especificar um modelo de instância de VM, isso também se aplicará aos campos do modelo especificado.
#O tipo de consumo da reserva determina a afinidade de reserva necessária para as VMs do job, que você precisa especificar no job da seguinte maneira:
- Se o job estiver usando um modelo de instância de VM, o modelo precisará configurar a afinidade de reserva, conforme explicado na documentação de reservas.
- Se o job não estiver usando um modelo e a reserva for especificamente visada, especifique o nome da reserva no campo
reservation
do job. - Caso contrário, se o job não estiver usando um modelo e a reserva for consumida automaticamente, omita o campo
reservation
do job.
Prepare a reserva. Crie a reserva que você quer que as VMs do job consumam, caso ainda não tenha feito isso. Verifique se a reserva tem as propriedades que você planejou.
Crie e execute o job. É possível criar e executar um job que consuma VMs da reserva preparada usando a CLI gcloud ou a API Batch:
gcloud
Crie um arquivo JSON que especifique os detalhes de configuração do job que definem os subcampos do recurso da instância de VM (
instances[]
) para corresponder exatamente às propriedades de VM de uma reserva.Por exemplo, para criar um job de script básico que consuma VMs de uma reserva, crie um arquivo JSON com o seguinte conteúdo:
{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}" } } ] }, "taskCount": 3 } ], "allocationPolicy": { "instances": [ { VM_RESOURCES } ], }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Substitua
VM_RESOURCES
pelos recursos de VM que correspondem à reserva que você quer que o job consumir especificando os subcamposinstances[]
planejados nas etapas anteriores.Por exemplo, comece com o seguinte valor para
VM_RESOURCES
:"installGpuDrivers": INSTALL_GPU_DRIVERS, "policy": { "machineType": "MACHINE_TYPE", "minCpuPlatform": "MIN_CPU_PLATFORM", "accelerators": [ { "type": "GPU_TYPE", "count": GPU_COUNT } ], "disks": [ { "newDisk": { "sizeGb": LOCAL_SSD_SIZE, "type": "local-ssd" }, "deviceName": "LOCAL_SSD_NAME" } ], "reservation": "SPECIFIC_RESERVATION_NAME" }
Para usar esse valor, faça todas as mudanças a seguir:
Você quer usar um modelo de instância?
Sim: substitua o campo
policy
pelo campoinstanceTemplate
e especifique um modelo de instância de VM atual que corresponda à reserva. Por exemplo, consulte o exemplo de código para usar um modelo de instância de VM. Se a reserva usar GPUs ou SSDs locais, também será necessário configurar os camposinstallGpuDrivers
evolumes[]
do job, respectivamente. Caso contrário, pule as outras mudanças.Não: substitua
MACHINE_TYPE
pelo mesmo tipo de máquina da reserva.
A reserva inclui uma plataforma mínima de CPU?
Sim:substitua
MIN_CPU_PLATFORM
pela mesma plataforma de CPU mínima.Não:remova o campo
minCpuPlatform
.
A reserva inclui GPUs?
Sim: substitua
INSTALL_GPU_DRIVERS
,GPU_TYPE
eGPU_COUNT
para corresponder à reserva. Por exemplo, consulte o exemplo de código para usar GPUs.Não:remova os campos
installGpuDrivers
eaccelerators[]
.
A reserva inclui SSDs locais?
Sim: substitua
LOCAL_SSD_SIZE
eLOCAL_SSD_NAME
para corresponder à reserva e ative os SSDs locais adicionando o campovolumes[]
ao job. Por exemplo, consulte o exemplo de código para usar SSDs locais.Não:remova o campo
disks[]
.
A reserva usa o tipo de consumo especificamente segmentado?
Sim: substitua
SPECIFIC_RESERVATION_NAME
pelo nome da reserva.Não:remova o campo
reservation
.
Por exemplo, suponha que você esteja usando uma reserva consumida automaticamente para VMs
n2-standard-32
que não especifica nenhuma plataforma mínima de CPU, GPUs ou SSDs locais. Além disso, não especifique um modelo de instância de VM. Nesse caso, é necessário substituirVM_RESOURCES
pelo seguinte valor:"policy": { "machineType": "n2-standard-32" }
Para criar e executar o job, use o comando
gcloud batch jobs submit
:gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Substitua:
JOB_NAME
: o nome do job.LOCATION
: o local do job. A menos que o job especifique o campoallowedLocations[]
, ele precisará ser a região que contém a zona da reserva.JSON_CONFIGURATION_FILE
: o caminho de um arquivo JSON com os detalhes de configuração do job.
API
Faça uma solicitação
POST
para o métodojobs.create
que define os subcampos do recurso da instância de VM (instances[]
) para corresponder exatamente às propriedades de VM de uma reserva.Por exemplo, para criar um job de script básico que consuma VMs de uma reserva, faça a seguinte solicitação:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME { "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}" } } ] }, "taskCount": 3 } ], "allocationPolicy": { "instances": [ { VM_RESOURCES } ], }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Substitua:
PROJECT_ID
: o ID do projeto (link em inglês).LOCATION
: o local do job. A menos que o job especifique o campoallowedLocations[]
, ele precisará ser a região que contém a zona da reserva.JOB_NAME
: o nome do job.VM_RESOURCES
: os recursos de VM que correspondem à reserva que você quer que o job consuma especificando os subcamposinstances[]
planejados nas etapas anteriores.Por exemplo, comece com o seguinte valor para
VM_RESOURCES
:"installGpuDrivers": INSTALL_GPU_DRIVERS, "policy": { "machineType": "MACHINE_TYPE", "minCpuPlatform": "MIN_CPU_PLATFORM", "accelerators": [ { "type": "GPU_TYPE", "count": GPU_COUNT } ], "disks": [ { "newDisk": { "sizeGb": LOCAL_SSD_SIZE, "type": "local-ssd" }, "deviceName": "LOCAL_SSD_NAME" } ], "reservation": "SPECIFIC_RESERVATION_NAME" }
Para usar esse valor, faça todas as mudanças a seguir:
Você quer usar um modelo de instância?
Sim: substitua o campo
policy
pelo campoinstanceTemplate
e especifique um modelo de instância de VM atual que corresponda à reserva. Por exemplo, consulte o exemplo de código para usar um modelo de instância de VM. Se a reserva usar GPUs ou SSDs locais, também será necessário configurar os camposinstallGpuDrivers
evolumes[]
do job, respectivamente. Caso contrário, pule as outras mudanças.Não: substitua
MACHINE_TYPE
pelo mesmo tipo de máquina da reserva.
A reserva inclui uma plataforma mínima de CPU?
Sim:substitua
MIN_CPU_PLATFORM
pela mesma plataforma de CPU mínima.Não:remova o campo
minCpuPlatform
.
A reserva inclui GPUs?
Sim: substitua
INSTALL_GPU_DRIVERS
,GPU_TYPE
eGPU_COUNT
para corresponder à reserva. Por exemplo, consulte o exemplo de código para usar GPUs.Não:remova os campos
installGpuDrivers
eaccelerators[]
.
A reserva inclui SSDs locais?
Sim: substitua
LOCAL_SSD_SIZE
eLOCAL_SSD_NAME
para corresponder à reserva e ative os SSDs locais adicionando o campovolumes[]
ao job. Por exemplo, consulte o exemplo de código para usar SSDs locais.Não:remova o campo
disks[]
.
A reserva usa o tipo de consumo especificamente segmentado?
Sim: substitua
SPECIFIC_RESERVATION_NAME
pelo nome da reserva.Não:remova o campo
reservation
.
Por exemplo, suponha que você esteja usando uma reserva consumida automaticamente para VMs
n2-standard-32
que não especifica nenhuma plataforma mínima de CPU, GPUs ou SSDs locais. Além disso, não especifique um modelo de instância de VM. Nesse caso, é necessário substituirVM_RESOURCES
pelo seguinte valor:"policy": { "machineType": "n2-standard-32" }
A seguir
- Se você tiver problemas para criar ou executar um job, consulte Solução de problemas.
- Visualizar jobs e tarefas
- Saiba mais sobre mais opções de criação de jobs.