Disques de démarrage persistants Dataproc

Vous pouvez sélectionner des disques persistants standard, SSD, équilibrés ou hyperdisk équilibrés comme disques de démarrage pour les nœuds de cluster Dataproc.

Sélectionner des types de disques de démarrage persistants pour les nœuds de cluster

Vous pouvez sélectionner le type de disque de démarrage persistant lorsque vous créez un cluster à l'aide de la console Google Cloud, du Google Cloud CLI ou de l'API Dataproc.

Console

Vous pouvez créer un cluster et sélectionner un disque de démarrage persistant standard, SSD ou équilibré pour le maître, le nœud de calcul principal et les nœuds de calcul secondaire du cluster depuis le panneau Configurer les nœuds de la page Dataproc Créer un cluster de la console Google Cloud.

CLI gcloud

Vous pouvez créer un cluster et sélectionner un disque de démarrage persistant standard, SSD, équilibré ou hyperdisk équilibré pour les nœuds de cluster maître, de calcul principal et de calcul secondaire à l'aide de la commande gcloud dataproc clusters create avec les options --master-boot-disk-type, --worker-boot-disk-type et --secondary-worker-boot-disk-type.

Le type de disque de démarrage persistant par défaut pour les nœuds maître et de calcul principaux du cluster Dataproc est pd-standard. Si le type de machine de la VM n'est compatible qu'avec Hyperdisk comme disque de démarrage, le disque de démarrage par défaut est hyperdisk-balanced. Le type de disque de démarrage persistant par défaut pour les nœuds de calcul secondaires du cluster est le type de disque de démarrage persistant du nœud de calcul principal.

Vous pouvez transmettre une valeur pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced aux options --master-boot-disk-type, --worker-boot-disk-type et --secondary-worker-boot-disk-type. N'importe quelle valeur de type de disque valide peut être définie sur n'importe quel type de nœud de cluster.

Exemple : 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...
p

API REST

Le type de disque de démarrage par défaut pour les nœuds maître et de calcul principaux du cluster Dataproc est pd-standard. Si le type de machine de la VM n'est compatible qu'avec Hyperdisk comme disque de démarrage, le disque de démarrage par défaut est hyperdisk-balanced. Le type de disque de démarrage par défaut pour les nœuds de calcul secondaire est le type de disque de démarrage du nœud de calcul principal.

Vous pouvez définir une valeur de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced dans le champ InstanceGroupConfig.DiskConfig.bootDiskType dans les éléments masterConfig, workerConfig et secondaryWorkerConfig dans le cadre d'une requête API cluster.create. N'importe quelle valeur de type de disque de démarrage valide peut être définie sur n'importe quel type de nœud de cluster.

Paramètres Hyperdisk

Lorsque vous créez un cluster, si vous sélectionnez hyperdisk-balanced comme disque de démarrage pour un nœud de cluster Dataproc, vous pouvez utiliser gcloud CLI ou l'API Dataproc pour définir les paramètres IOPS provisionnés et débit provisionné.

CLI gcloud

Définissez les IOPS et le débit provisionnés pour les nœuds de cluster avec les disques de démarrage Hyperdisk-balanced à l'aide des options --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput et --worker-boot-disk-provisioned-throughput de la commande gcloud dataproc clusters create.

Exemple : 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

Définissez les IOPS et le débit provisionnés pour les nœuds de cluster avec des disques de démarrage Hyperdisk à l'aide des champs InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops et InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput pour les configurations maître et de calcul.