SSDs locais do Dataproc

Para complementar o disco de inicialização, você pode anexar unidades de estado sólido locais (SSDs locais) aos workers mestre, primário e nó de trabalho secundário do cluster. Quando os SSDs locais são fornecidos para o cluster, os dados do HDFS e do zero, como saídas aleatórias, usam os SSDs locais em vez do disco permanente de inicialização.

  • Os SSDs locais podem oferecer tempos de leitura e gravação mais rápidos do que disco permanente. Consulte Desempenho do SSD local.
  • O tamanho de cada SSD local (375 GB) é fixo, mas é possível anexar vários SSDs locais para aumentar o armazenamento SSD (consulte Sobre SSDs locais).
  • Cada SSD local é ativado em /mnt/<id> nos nós de cluster do Dataproc.
  • Os SSDs locais usam ext4 como sistema de arquivos padrão.

Usar SSDs locais

Comando gcloud

Use o comando gcloud dataproc clusters create com as flags --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds para anexar SSDs locais aos nós mestre, de worker primário e de worker secundário do cluster.

Os SSDs locais podem ser conectados a VMs do Dataproc usando uma interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express). Consulte desempenho do SSD local. A interface padrão de SSD local da VM do cluster do Dataproc é a SCSI. Use o comando gcloud dataproc clusters create com as flags --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface para especificar a interface de SSD local para nós de trabalho mestre, primário e secundário.

Exemplo:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Defina o campo numLocalSsds em masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em uma solicitação de API cluster.create para anexar SSDs locais aos nós mestre, de worker primário e de worker secundário do cluster.

Os SSDs locais podem ser conectados a VMs do Dataproc usando uma interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express). Consulte desempenho do SSD local. A interface padrão de SSD local da VM do cluster do Dataproc é a SCSI. Defina o campo localSsdInterface em masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em uma solicitação de API cluster.create para especificar a interface "SCSI" ou "NVME" e anexar SSDs locais aos nós mestre, de worker primário e de worker secundário do cluster.

Console

Crie um cluster e anexe SSDs locais aos nós de trabalho mestre, principais e secundários no painel "Configurar nós" da página Criar um cluster do Dataproc do console Google Cloud .