Dataproc-Bootlaufwerke

Sie können nichtflüchtige Standardspeicher, nichtflüchtige SSD-Speicher, abgestimmte nichtflüchtige Speicher oder Google Cloud Hyperdisk Balanced als Bootlaufwerke für Dataproc-Clusterknoten auswählen.

Nichtflüchtige Bootlaufwerktypen für Clusterknoten auswählen

Sie können den Typ des persistenten Bootlaufwerks auswählen, wenn Sie einen Cluster mit derGoogle Cloud -Konsole, der Google Cloud CLI oder der Dataproc API erstellen.

Konsole

Sie können einen Cluster erstellen und ein Standard-, SSD-, Balanced- oder Hyperdisk Balanced-Bootlaufwerk für Manager- (Master-), primäre und sekundäre Worker--Clusterknoten im Bereich Knoten konfigurieren Google Cloud auf der Dataproc-Seite Cluster erstellen auswählen.

gcloud-CLI

Mit dem Befehl gcloud dataproc clusters create mit den Flags --master-boot-disk-type, --worker-boot-disk-type und --secondary-worker-boot-disk-type können Sie einen Cluster erstellen und ein standardmäßiges, SSD- oder ausgeglichenes nichtflüchtiges Bootlaufwerk oder Hyperdisk Balanced für Manager- (Master-), primäre und sekundäre Worker-Knoten auswählen.

Der Standardtyp für nichtflüchtige Bootlaufwerke für Dataproc-Clustermanager (Master) und primäre Worker-Knoten ist pd-standard. Wenn der Maschinentyp der VM nur Hyperdisk Balanced als Bootlaufwerk unterstützt, ist das Standard-Bootlaufwerk hyperdisk-balanced. Der nichtflüchtige Standard-Bootlaufwerktyp für sekundäre Worker-Knoten des Clusters ist der nichtflüchtige Bootlaufwerktyp des primären Worker-Knotens.

Sie können den Flags --master-boot-disk-type, --worker-boot-disk-type und --secondary-worker-boot-disk-type einen Wert von pd-standard, pd-ssd, pd-balanced oder hyperdisk-balanced übergeben. Auf jedem Clusternotentyp kann einer der gültigen Werte für den Festplattentyp festgelegt werden.

Beispiel: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...
p

REST API

Der Standard-Bootlaufwerktyp für Dataproc-Clustermanager- (Master-) und primäre Worker-Knoten ist pd-standard. Wenn der Maschinentyp der VM nur Hyperdisk Balanced als Bootlaufwerk unterstützt, ist das Standard-Bootlaufwerk hyperdisk-balanced. Der Standardtyp des Bootlaufwerks für sekundäre Worker-Knoten ist der Typ des Bootlaufwerks des primären Worker-Knotens.

Sie können im Feld InstanceGroupConfig.DiskConfig.bootDiskType in den masterConfig-, workerConfig- und secondaryWorkerConfig-Feldern im Rahmen einer cluster.create-API-Anfrage einen Wert von pd-standard, pd-ssd, pd-balanced oder hyperdisk-balanced festlegen. Für jeden Clusterknotentyp kann einer der gültigen Werte für den Bootlaufwerktyp festgelegt werden.

Hyperdisk-Einstellungen

Wenn Sie einen Cluster mit einem Hyperdisk Balanced-Volume als Bootlaufwerk für einen Dataproc-Clusterknoten erstellen, können Sie die bereitgestellten IOPS und den Durchsatz festlegen.

Konsole

Hyperdisk Balanced ist der standardmäßige primäre Bootlaufwerktyp für Manager- (Master-) und primäre Worker-Clusterknoten im Bereich Knoten konfigurieren auf der Dataproc-Seite Cluster erstellen der Google Cloud -Konsole. Sie können IOPS und Durchsatz festlegen oder die Standardwerte übernehmen.

gcloud-CLI

Sie können bereitgestellte IOPS und bereitgestellten Durchsatz für Clusterknoten mit den Hyperdisk Balanced-Bootlaufwerken mit den Flags --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput und --worker-boot-disk-provisioned-throughput des Befehls gcloud dataproc clusters create festlegen.

Beispiel: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

Sie können bereitgestellte IOPS und bereitgestellten Durchsatz für Clusterknoten mit Hyperdisk-Bootlaufwerken mit den Feldern InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops und InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput für die Manager- (Master-) und Worker-Konfigurationen festlegen.