Para complementar o disco de inicialização, você pode anexar unidades de estado sólido locais (SSDs locais) aos workers mestre, primário e nó de trabalho secundário do cluster. Quando os SSDs locais são fornecidos ao cluster, tanto o HDFS quanto os dados de rascunho, como saídas aleatórias, use os SSDs locais em vez dos em um disco permanente padrão.
- Os SSDs locais oferecem tempos de leitura e gravação mais rápidos do que os disco permanente Consulte Desempenho do SSD local.
- O tamanho de 375 GB de cada SSD local é fixo, mas é possível anexar vários SSDs locais a aumente o armazenamento SSD (consulte Sobre SSDs locais).
- Cada SSD local é montado em
/mnt/<id>
nos nós de cluster do Dataproc. - Os SSDs locais usam
ext4
como o sistema de arquivos padrão.
Como usar SSDs locais
Comando gcloud
Use o
gcloud dataproc clusters create
comando com --num-master-local-ssds
,
--num-workers-local-ssds
e
--num-secondary-worker-local-ssds
para anexar flags locais
SSDs para o worker mestre, primário e secundário do cluster
nós.
Os SSDs locais podem ser conectados a VMs do Dataproc usando uma interface SCSI
(Small Computer System Interface) ou NVME (Non-Volatile Memory Express). Consulte
performance do SSD local.
A interface padrão da SSD local da VM do cluster do Dataproc é a interface SCSI. Use o comando
gcloud dataproc clusters create
com as flags --master-local-ssd-interface
,
--worker-local-ssd-interface
e
--secondary-worker-local-ssd-interface
para especificar a interface de SSD local para nós de worker mestre,
primário e secundário.
Exemplo:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
API REST
Defina o campo
numLocalSsds
em masterConfig
, workerConfig
e
secondaryWorkerConfig
InstanceGroupConfig
em uma
solicitação de API cluster.create
para anexar SSDs locais aos nós mestre, de worker primário e
de worker secundário do cluster.
Os SSDs locais podem ser anexados às VMs do Dataproc usando um SCSI
Interface de sistema de computador pequeno (NVME) ou de memória não volátil (NVME, na sigla em inglês) (consulte
desempenho do SSD local).
A interface padrão da SSD local da VM do cluster do Dataproc é a interface SCSI. Defina o
localSsdInterface
nos campos masterConfig
, workerConfig
e
secondaryWorkerConfig
InstanceGroupConfig
em um
cluster.create
Solicitação de API para especificar o "SCSI" ou "NVME" para anexar SSDs locais ao mestre do cluster
nós de trabalho primário e secundário.
Console
Crie um cluster e anexe SSDs locais aos nós de trabalho mestre, principal e secundário no painel "Configurar nós" da página Criar um cluster do Dataproc do console do Google Cloud.