Untuk melengkapi disk booting, Anda dapat melampirkan Solid State Drive lokal (SSD lokal) ke node master, worker utama, dan worker sekunder di cluster Anda. Saat SSD lokal disediakan untuk cluster, data HDFS dan data sementara, seperti output shuffle, menggunakan SSD lokal, bukan persistent disk boot.
- SSD lokal dapat memberikan waktu baca dan tulis yang lebih cepat daripada persistent disk (lihat Performa SSD Lokal).
- Ukuran 375 GB untuk setiap SSD lokal sudah ditetapkan, tetapi Anda dapat memasang beberapa SSD lokal untuk meningkatkan penyimpanan SSD (lihat Tentang SSD Lokal).
- Setiap SSD lokal dipasang ke
/mnt/<id>
di node cluster Dataproc. - SSD Lokal menggunakan
ext4
sebagai sistem file default.
Menggunakan SSD lokal
Perintah gcloud
Gunakan perintah
gcloud dataproc clusters create
dengan flag --num-master-local-ssds
,
--num-workers-local-ssds
, dan
--num-secondary-worker-local-ssds
untuk melampirkan SSD lokal ke node pekerja master, primer, dan sekunder cluster.
SSD Lokal dapat dilampirkan ke VM Dataproc menggunakan antarmuka SCSI
(Small Computer System Interface) atau NVME (Non-Volatile Memory Express) (lihat
performa SSD lokal).
Antarmuka SSD lokal VM cluster Dataproc default adalah antarmuka SCSI. Gunakan perintah
gcloud dataproc clusters create
dengan flag --master-local-ssd-interface
,
--worker-local-ssd-interface
, dan
--secondary-worker-local-ssd-interface
untuk menentukan antarmuka SSD lokal untuk node master, primer, dan sekunder.
Contoh:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
REST API
Tetapkan kolom
numLocalSsds
di masterConfig
, workerConfig
, dan
secondaryWorkerConfig
InstanceGroupConfig
dalam permintaan API
cluster.create
untuk melampirkan SSD lokal ke node master, pekerja utama, dan
pekerja sekunder cluster.
SSD Lokal dapat dilampirkan ke VM Dataproc menggunakan antarmuka SCSI
(Small Computer System Interface) atau NVME (Non-Volatile Memory Express) (lihat
performa SSD lokal).
Antarmuka SSD lokal VM cluster Dataproc default adalah antarmuka SCSI. Tetapkan kolom
localSsdInterface
di masterConfig
, workerConfig
, dan
secondaryWorkerConfig
InstanceGroupConfig
dalam permintaan
API cluster.create
untuk menentukan antarmuka "SCSI" atau "NVME" guna melampirkan SSD lokal ke master cluster, node pekerja utama, dan node pekerja sekunder.
Konsol
Buat cluster dan pasang SSD lokal ke node pekerja master, primer, dan sekunder dari panel Konfigurasi node di halaman Buat cluster Dataproc di konsol Google Cloud .