Disques SSD locaux Dataproc

Pour compléter le disque de démarrage, vous pouvez associer des disques SSD locaux aux nœuds maîtres, principaux et secondaires de votre cluster. Lorsque des disques SSD locaux sont fournis au cluster, à la fois HDFS et les données de travail, comme les sorties de brassage, utilisez les disques SSD locaux au lieu du disque de démarrage persistant standard.

  • Les SSD locaux peuvent fournir des vitesses d'écriture et de lecture supérieures à celles du disque persistant (voir la section Performances des disques SSD locaux).
  • La taille de 375 Go de chaque disque SSD local est fixe, mais vous pouvez associer plusieurs disques SSD locaux à augmentez l'espace de stockage SSD (consultez À propos des disques SSD locaux
  • Chaque disque SSD local est installé sur /mnt/<id> dans les nœuds de cluster Dataproc.
  • Les SSD locaux utilisent ext4 comme système de fichiers par défaut.

Utiliser des disques SSD locaux

Commande gcloud

Utilisez les gcloud dataproc clusters create avec --num-master-local-ssds, --num-workers-local-ssds et Options --num-secondary-worker-local-ssds à associer en local Des disques SSD au nœud de calcul maître, principal et secondaire du cluster nœuds.

Les disques SSD locaux peuvent être associés aux VM Dataproc à l'aide d'un mode SCSI. (Small Computer System Interface) ou NVME (Non-Volatile Memory Express) (voir performances des disques SSD locaux). Par défaut, l'interface SSD locale d'une VM de cluster Dataproc est l'interface SCSI. Utilisez les gcloud dataproc clusters create avec --master-local-ssd-interface, --worker-local-ssd-interface et --secondary-worker-local-ssd-interface indicateurs pour spécifier l'interface SSD locale pour les instances maître, primaire et secondaire nœuds de calcul.

Exemple :

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Définissez le paramètre numLocalSsds dans les champs masterConfig, workerConfig et secondaryWorkerConfig InstanceGroupConfig dans un cluster.create Requête API permettant d'associer des disques SSD locaux au maître, au nœud de calcul primaire et au nœud de calcul du cluster nœuds de calcul secondaires.

Les disques SSD locaux peuvent être associés à des VM Dataproc à l'aide d'une interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express) (voir la section Performances des disques SSD locaux). L'interface SCSI est l'interface SSD locale par défaut des VM du cluster Dataproc. Définissez le paramètre localSsdInterface dans les champs masterConfig, workerConfig et secondaryWorkerConfig InstanceGroupConfig dans un cluster.create Requête API pour spécifier la valeur "SCSI" ou "NVME" permettant d'associer des SSD locaux au maître du cluster, nœuds de calcul primaires et secondaires.

Console

Créer un cluster et associer des disques SSD locaux au maître nœuds de calcul primaires et secondaires dans le panneau "Configurer les nœuds" Dataproc Page Créer un cluster de la console Google Cloud.