SSD locali Dataproc

Per integrare il disco di avvio, puoi collegare unità a stato solido (SSD) locali ai nodi master, worker principali e worker secondari del cluster. Quando al cluster vengono fornite unità SSD locali, sia dati HDFS sia dati temporanei, ad esempio lo shuffling degli output, usa gli SSD locali anziché un disco permanente standard.

  • Gli SSD locali possono fornire tempi di lettura e scrittura più rapidi rispetto a un disco permanente (vedi Prestazioni degli SSD locali).
  • Le dimensioni di 375 GB di ogni SSD locale sono fisse, ma puoi collegare più SSD locali per aumentare lo spazio di archiviazione SSD (consulta Informazioni sulle SSD locali).
  • Ogni SSD locale è montato su /mnt/<id> nei nodi del cluster Dataproc.
  • Gli SSD locali utilizzano ext4 come file system predefinito.

Utilizzo di SSD locali

Comando g-cloud

Utilizza il comando gcloud dataproc clusters create con i flag --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds per collegare le unità SSD locali ai nodi master, principali e secondari del cluster.

Gli SSD locali possono essere collegati alle VM Dataproc utilizzando un file SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (consultare prestazioni SSD locali). L'interfaccia SSD locale della VM del cluster Dataproc predefinita è l'interfaccia SCSI. Utilizza la gcloud dataproc clusters create con il comando --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface flag per specificare l'interfaccia SSD locale per nodi worker.

Esempio:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Imposta il parametro numLocalSsds nel campo masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig in un cluster.create Richiesta API per il collegamento di SSD locali al master, al worker principale e nodi worker secondari.

Gli SSD locali possono essere collegati alle VM Dataproc utilizzando un file SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (consultare prestazioni SSD locali). L'interfaccia SSD locale della VM del cluster Dataproc predefinita è l'interfaccia SCSI. Imposta il parametro localSsdInterface nel campo masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig in un cluster.create Richiesta API per specificare "SCSI" o "NVME" per collegare gli SSD locali al master del cluster, il worker principale e i nodi worker secondari.

Console

Crea un cluster e collega gli SSD locali al master, i nodi worker primari e secondari nel riquadro Configura nodi del Dataproc Pagina Crea un cluster della console Google Cloud.