SSD Lokal Dataproc

Untuk melengkapi boot disk, Anda dapat memasang Solid State Drive lokal (SSD lokal) ke node master, pekerja primer, dan pekerja sekunder di cluster Anda. Jika SSD lokal disediakan ke cluster, baik HDFS dan data scratch, seperti output acak, gunakan SSD lokal, bukan persistent disk booting.

  • SSD lokal dapat memberikan waktu baca dan tulis yang lebih cepat daripada persistent disk (lihat Performa SSD Lokal).
  • Ukuran 375 GB setiap SSD lokal bersifat tetap, tetapi Anda dapat memasang beberapa SSD lokal untuk meningkatkan penyimpanan SSD (lihat Tentang SSD Lokal).
  • Setiap SSD lokal dipasang ke /mnt/<id> di node cluster Dataproc.
  • SSD lokal menggunakan ext4 sebagai sistem file default.

Menggunakan SSD lokal

Perintah gcloud

Gunakan perintah gcloud dataproc Cluster create dengan flag --num-master-local-ssds, --num-workers-local-ssds, dan --num-secondary-worker-local-ssds untuk memasang SSD lokal ke node pekerja master, primer, dan sekunder cluster.

SSD lokal dapat dipasang ke VM Dataproc menggunakan antarmuka SCSI (Small Computer System Interface) atau NVME (Non-Volatile Memory Express) (lihat performa SSD lokal). Antarmuka SSD lokal VM cluster Dataproc default adalah antarmuka SCSI. Gunakan perintah gcloud dataproc cluster create dengan flag --master-local-ssd-interface, --worker-local-ssd-interface, dan --secondary-worker-local-ssd-interface guna menentukan antarmuka SSD lokal untuk node pekerja master, primer, dan sekunder.

Contoh:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

REST API

Tetapkan kolom numLocalSsds di masterConfig, workerConfig, dan secondaryWorkerConfig InstanceGroupConfig dalam permintaan API cluster.create untuk memasang SSD lokal ke node master, pekerja utama, dan pekerja sekunder cluster.

SSD lokal dapat dipasang ke VM Dataproc menggunakan antarmuka SCSI (Small Computer System Interface) atau NVME (Non-Volatile Memory Express) (lihat performa SSD lokal). Antarmuka SSD lokal VM cluster Dataproc default adalah antarmuka SCSI. Setel kolom localSsdInterface di masterConfig, workerConfig, dan secondaryWorkerConfig InstanceGroupConfig dalam permintaan API cluster.create untuk menentukan antarmuka "SCSI" atau "NVME" untuk memasang SSD lokal ke node master cluster, pekerja utama, dan pekerja sekunder cluster.

Konsol

Buat cluster dan pasang SSD lokal ke node pekerja master, utama, dan sekunder dari panel Konfigurasi node di halaman Buat cluster pada Konsol Google Cloud.