SSDs locais do Dataproc

Para complementar o disco de inicialização, você pode anexar unidades de estado sólido locais (SSDs locais) aos workers mestre, primário e nó de trabalho secundário do cluster. Quando os SSDs locais são fornecidos ao cluster, tanto o HDFS quanto os dados de rascunho, como saídas aleatórias, use os SSDs locais em vez dos em um disco permanente padrão.

  • Os SSDs locais oferecem tempos de leitura e gravação mais rápidos do que os disco permanente Consulte Desempenho do SSD local.
  • O tamanho de 375 GB de cada SSD local é fixo, mas é possível anexar vários SSDs locais a aumente o armazenamento SSD (consulte Sobre SSDs locais).
  • Cada SSD local é montado em /mnt/<id> nos nós de cluster do Dataproc.
  • Os SSDs locais usam ext4 como o sistema de arquivos padrão.

Como usar SSDs locais

Comando gcloud

Use o gcloud dataproc clusters create comando com --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds para anexar flags locais SSDs para o worker mestre, primário e secundário do cluster nós.

Os SSDs locais podem ser conectados a VMs do Dataproc usando uma interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express). Consulte performance do SSD local. A interface padrão da SSD local da VM do cluster do Dataproc é a interface SCSI. Use o comando gcloud dataproc clusters create com as flags --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface para especificar a interface de SSD local para nós de worker mestre, primário e secundário.

Exemplo:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Defina o campo numLocalSsds em masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em uma solicitação de API cluster.create para anexar SSDs locais aos nós mestre, de worker primário e de worker secundário do cluster.

Os SSDs locais podem ser anexados às VMs do Dataproc usando um SCSI Interface de sistema de computador pequeno (NVME) ou de memória não volátil (NVME, na sigla em inglês) (consulte desempenho do SSD local). A interface padrão da SSD local da VM do cluster do Dataproc é a interface SCSI. Defina o localSsdInterface nos campos masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em um cluster.create Solicitação de API para especificar o "SCSI" ou "NVME" para anexar SSDs locais ao mestre do cluster nós de trabalho primário e secundário.

Console

Crie um cluster e anexe SSDs locais aos nós de trabalho mestre, principal e secundário no painel "Configurar nós" da página Criar um cluster do Dataproc do console do Google Cloud.