Discos de inicialização do Dataproc

Você seleciona disco permanente padrão, SSD, balanceado ou Hyperdisk balanceado do Google Cloud como discos de inicialização para nós de cluster do Dataproc.

Selecionar tipos de disco de inicialização permanente para nós de cluster

É possível selecionar o tipo de disco de inicialização persistente ao criar um cluster usando o consoleGoogle Cloud , Google Cloud CLI ou a API Dataproc.

Console

É possível criar um cluster e selecionar um Persistent Disk padrão, SSD, balanceado ou Hyperdisk Balanced como disco de inicialização para os nós de cluster gerenciador (mestre), de trabalho primário e de trabalho secundário no painel Configurar nós da página Criar um cluster do Dataproc no console do Google Cloud .

CLI da gcloud

É possível criar um cluster e selecionar um disco de inicialização persistente padrão, SSD, balanceado ou Hyperdisk balanceado para os nós de cluster gerenciador (mestre), de worker primário e de worker secundário usando o comando gcloud dataproc clusters create com as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

O tipo de disco de inicialização permanente padrão para o gerenciador de cluster do Dataproc (mestre) e os nós de trabalho principais é pd-standard. Se o tipo de máquina da VM oferecer suporte apenas ao Hyperdisk Balanced como disco de inicialização, o disco de inicialização padrão será hyperdisk-balanced. O tipo de disco permanente de inicialização padrão para nós de trabalho secundários do cluster é o mesmo dos nós de trabalho principais.

Você pode transmitir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced às flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type. Qualquer um dos valores válidos de tipo de disco pode ser definido em qualquer tipo de nó de cluster.

Exemplo: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...
p

API REST

O tipo de disco de inicialização padrão para o gerenciador de cluster do Dataproc (mestre) e os nós de trabalho primários é pd-standard. Se o tipo de máquina da VM aceitar apenas o Hyperdisk Balanced como disco de inicialização, o disco de inicialização padrão será hyperdisk-balanced. O tipo de disco de inicialização padrão para nós de worker secundário é o tipo de disco de inicialização do nó de trabalho principal.

Você pode definir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced no campo InstanceGroupConfig.DiskConfig.bootDiskType em masterConfig, workerConfig e secondaryWorkerConfig como parte de uma solicitação de API cluster.create. Qualquer um dos valores válidos de tipo de disco de inicialização pode ser definido em qualquer tipo de nó de cluster.

Configurações do Hyperdisk

Ao criar um cluster com um volume equilibrado de hiperdisco como disco de inicialização para um nó de cluster do Dataproc, é possível definir as IOPS e a capacidade de processamento provisionadas.

Console

O Hyperdisk Balanced é selecionado como o tipo de disco de inicialização primário padrão para o gerenciador (mestre) e os nós de cluster de worker primário no painel Configurar nós da página Criar um cluster do Dataproc no console do Google Cloud . Você pode definir IOPS e capacidade de processamento ou aceitar os valores padrão.

CLI da gcloud

É possível definir IOPS e taxa de transferência provisionadas para nós de cluster com os discos de inicialização equilibrados do hyperdisk usando o comando gcloud dataproc clusters create com as flags --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput.

Exemplo: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

É possível definir IOPS e capacidade de processamento provisionadas para nós de cluster com discos de inicialização do hiperdisco usando os campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para as configurações do gerenciador (mestre) e do worker.