VMs flexíveis do Dataproc

As VMs flexíveis são um recurso do Dataproc que permite especificar listas priorizadas de tipos de VM para workers secundários do Dataproc ao criar um cluster do Dataproc.

Por que usar VMs flexíveis

Antes, se um tipo de VM não estivesse disponível quando você enviava uma solicitação de criação de cluster, a solicitação falhava, e era necessário atualizar o pedido, o script ou o código para especificar um tipo de VM "melhor alternativa". Esse processo de nova solicitação pode envolver várias iterações até que você especifique um tipo de VM disponível.

O recurso de VM flexível do Dataproc ajuda a solicitação de criação de cluster a ser bem-sucedida. Para isso, ele seleciona tipos de VM de worker secundárias nas listas classificadas de VMs e pesquisa zonas na região especificada do cluster com disponibilidade dos tipos de VM listados.

Terminologia

• Tipo de VM: a família, a capacidade de memória e o número de núcleos de CPU de uma instância de VM. O Dataproc é compatível com o uso de tipos de VM predefinidos e personalizados.

• Workers secundários: os workers secundários não armazenam dados. Elas funcionam apenas como nós de processamento. É possível usar workers secundários para escalonar a computação sem escalonar o armazenamento.

Limitações e considerações

• As VMs flexíveis estão disponíveis no Dataproc no Compute Engine 2.0.74+, 2.1.22+ e em versões de imagem posteriores do Dataproc no Compute Engine.

• É possível especificar VMs flexíveis apenas para workers secundários.

• É possível especificar até cinco listas de tipos de VM classificadas, com até 10 tipos de VM em cada uma. Para mais informações, consulte Como solicitar VMs flexíveis.

• A criação de um cluster com VMs flexíveis exige o uso do posicionamento em zona automática do Dataproc, que permite que o Dataproc escolha a zona com capacidade para atender às solicitações de tipo de VM.

• Se a solicitação de criação de cluster incluir uma política de escalonamento automático, as VMs flexíveis podem ser de diferentes famílias de VMs, mas precisam ter a mesma quantidade de memória e contagem de núcleos.

• Ao provisionar VMs flexíveis, o Dataproc consome reservas disponíveis "correspondentes", mas não reservas "específicas" (consulte Consumir instâncias reservadas). Os tipos de máquina que correspondem às reservas são selecionados primeiro em uma classificação, seguidos pelos tipos de VM com o maior número de CPUs.

• O Dataproc aplica Google Cloud cotas ao provisionamento flexível de VM.

• Embora seja possível especificar diferentes proporções de CPU para memória para tipos de worker V primários e secundários em um cluster, isso pode levar à degradação da performance, porque a menor proporção de CPU para memória é usada como a menor unidade de contêiner.

• Se você atualizar um cluster criado com VMs flexíveis, o Dataproc vai selecionar e adicionar workers das listas de VMs flexíveis que você forneceu ao criar o cluster.

Solicitar VMs flexíveis

É possível especificar VMs flexíveis ao criar um cluster do Dataproc usando o console Google Cloud , a Google Cloud CLI ou a API Dataproc.

• É possível especificar até cinco listas de tipos de VM classificadas, com até 10 tipos de VM em cada uma. As listas com classificação mais baixa têm a prioridade mais alta. Por padrão, as listas de VMs flexíveis têm uma classificação de 0. Em uma lista, o Dataproc prioriza tipos de VM com reservas não utilizadas, seguidos pelos maiores tamanhos de VM. Os tipos de VM em uma lista com a mesma contagem de CPU são tratados da mesma forma.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --master-machine-type=n1-standard-8 \
    --worker-machine-type=n1-standard-8 \
    --num-workers=4 \
    --num-secondary-workers=4 \
    --secondary-worker-type=non-preemptible \
    --secondary-worker-machine-types="type=n2-standard-8,rank=0" \
    --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1"

"config": {
  "secondaryWorkerConfig": {
    "instanceFlexibilityPolicy": {
      "instanceSelectionList": [
        {
          "machineTypes": [
            "n1-standard-4",
            "n2-standard-4"
          ],
          "rank": 0
        },
        {
          "machineTypes": [
            "e2-standard-4",
            "n2d-standard-4"
          ],
          "rank": 1
        }
      ]
    }
  }
}

ROLE:MACHINE_TYPE:COMPONENT_PREFIX:COMPONENT_PROPERTY=VALUE

"secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6"