Discos de inicialização do Dataproc

Você seleciona Disco permanente padrão, SSD, balanceado ou Hyperdisk balanceado do Google Cloud como discos de inicialização para os nós do cluster do Dataproc.

Selecionar tipos de disco de inicialização permanente para nós de cluster

É possível selecionar o tipo de disco de inicialização persistente ao criar um cluster usando o consoleGoogle Cloud , a Google Cloud CLI ou a API Dataproc.

Console

É possível criar um cluster e selecionar um disco de inicialização padrão, SSD, disco permanente balanceado ou Hyperdisk Balanced para o gerenciador (mestre), worker primário e worker secundário no painel Configurar nós na página Criar um cluster do Google Cloud console.

CLI da gcloud

É possível criar um cluster e selecionar um disco de inicialização padrão, SSD, equilibrado e persistente ou Hyperdisk balanced para o nó de cluster de gerente (mestre), de worker primário e de worker secundário usando o comando gcloud dataproc clusters create com as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

O tipo de disco de inicialização persistente padrão para o gerenciador de cluster do Dataproc (mestre) e os nós de trabalho primários é pd-standard. Se o tipo de máquina da VM oferecer suporte apenas ao Hyperdisk Balanced como disco de inicialização, o disco de inicialização padrão será hyperdisk-balanced. O tipo de disco de inicialização permanente padrão para nós de trabalho secundários do cluster é o tipo de disco de inicialização permanente do nó de trabalho principal.

É possível transmitir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced para as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type. Qualquer um dos valores válidos de tipo de disco pode ser definido em qualquer tipo de nó de cluster.

Exemplo: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...
p

API REST

O tipo de disco de inicialização padrão para o gerenciador de cluster do Dataproc (mestre) e os nós de trabalho principais é pd-standard. Se o tipo de máquina da VM oferecer suporte apenas ao Hyperdisk equilibrado como disco de inicialização, o disco de inicialização padrão será hyperdisk-balanced. O tipo de disco de inicialização padrão para nós de worker secundário é o tipo de disco de inicialização do nó de trabalho principal.

É possível definir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced no campo InstanceGroupConfig.DiskConfig.bootDiskType em masterConfig, workerConfig e secondaryWorkerConfig como parte de uma solicitação de API cluster.create. Qualquer um dos valores válidos do tipo de disco de inicialização pode ser definido em qualquer tipo de nó de cluster.

Configurações do Hyperdisk

Ao criar um cluster com um volume equilibrado do hiperdisco como disco de inicialização para um nó do cluster do Dataproc, é possível definir as IOPS e a capacidade provisionadas.

Console

Hyperdisk Balanced é selecionado como o tipo de disco de inicialização principal padrão para o gerenciador (mestre) e os nós de cluster de worker principal do Dataproc Configurar nós na página Criar um cluster do console Google Cloud . É possível definir IOPS e throughput ou aceitar os valores padrão.

CLI da gcloud

É possível definir IOPS provisionados e throughput provisionado para nós de cluster com os discos de inicialização do hiperdisco equilibrado usando o comando gcloud dataproc clusters create --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput.

Exemplo: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

É possível definir IOPS provisionadas e throughput provisionado para nós de cluster com discos de inicialização do hiperdisco usando os campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para as configurações do gerenciador (mestre) e do worker.