Lokale Dataproc-SSDs

Als Ergänzung zum Bootlaufwerk können Sie lokale SSDs (Solid State Drive) an Master-, primäre Worker- und sekundäre Worker-Knoten in Ihrem Cluster anhängen. Wenn dem Cluster lokale SSDs bereitgestellt werden, verwenden sowohl HDFS- als auch zwischengespeicherte Daten wie Shuffle-Ausgaben die lokalen SSDs anstelle des nichtflüchtigen Bootlaufwerks.

  • Im Vergleich zu nichtflüchtigem Speicher bieten lokale SSDs schnellere Lese- und Schreibzeiten (siehe Leistung lokaler SSDs).
  • Die Größe der einzelnen lokalen SSDs ist mit 375 GB festgelegt. Sie können jedoch mehrere lokale SSDs anhängen, um den SSD-Speicher zu erhöhen (siehe Lokale SSDs).
  • Jede lokale SSD wird auf Dataproc-Clusterknoten unter /mnt/<id> bereitgestellt.
  • Für lokale SSDs wird ext4 als Standarddateisystem verwendet.

Lokale SSDs verwenden

gcloud-Befehl

Verwenden Sie den Befehl gcloud dataproc clusters create mit den Flags --num-master-local-ssds, --num-workers-local-ssds und --num-secondary-worker-local-ssds, um lokale SSDs jeweils zu den Masterknoten sowie zu primären und sekundären Worker-Knoten des Clusters hinzuzufügen.

Lokale SSDs können über eine SCSI- (Small Computer System Interface) oder NVMe- (Non-Volatile Memory Express) Schnittstelle an Dataproc-VMs angehängt werden (siehe Leistung lokaler SSDs). Die Standard-SSD-Schnittstelle der Dataproc-Cluster-VM ist die SCSI-Schnittstelle. Verwenden Sie den Befehl gcloud dataproc clusters create mit den Flags --master-local-ssd-interface, --worker-local-ssd-interface und --secondary-worker-local-ssd-interface, um die lokale SSD-Schnittstelle für Master-, primäre und sekundäre Worker-Knoten anzugeben.

Beispiel:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

REST API

Legen Sie das Feld numLocalSsds in den InstanceGroupConfig masterConfig, workerConfig und secondaryWorkerConfig der API-Anfrage cluster.create fest, um lokale SSDs jeweils an den Masterknoten sowie an primäre und sekundäre Worker-Knoten des Clusters anzuhängen.

Lokale SSDs können über eine SCSI- (Small Computer System Interface) oder NVMe- (Non-Volatile Memory Express) Schnittstelle an Dataproc-VMs angehängt werden (siehe Leistung lokaler SSDs). Die Standard-SSD-Schnittstelle der Dataproc-Cluster-VM ist die SCSI-Schnittstelle. Legen Sie das Feld localSsdInterface in den InstanceGroupConfig masterConfig, workerConfig und secondaryWorkerConfig der API-Anfrage cluster.create fest, um die Schnittstelle „SCSI“ oder „NVME“ anzugeben, über die lokale SSDs an die Master-, primären und sekundären Worker-Knoten des Clusters angeschlossen werden.

Console

Erstellen Sie einen Cluster und hängen Sie über die Dataproc-Seite Cluster erstellen der Google Cloud Console lokale SSDs an die Master-, primären und sekundären Worker-Knoten an.