Jenis mesin GPU

Anda dapat menggunakan GPU di Compute Engine untuk mempercepat workload tertentu di VM Anda, seperti machine learning (ML) dan pemrosesan data. Untuk menggunakan GPU, Anda dapat men-deploy VM yang dioptimalkan akselerator dengan GPU terpasang, atau memasang GPU ke VM tujuan umum N1.

Anda juga dapat menggunakan beberapa jenis mesin GPU di AI Hypercomputer. AI Hypercomputer adalah sistem superkomputer yang dioptimalkan untuk mendukung workload kecerdasan buatan (AI) dan machine learning (ML) Anda. Opsi ini direkomendasikan untuk membuat infrastruktur yang dialokasikan secara padat dan dioptimalkan untuk performa yang memiliki integrasi untuk penjadwal Google Kubernetes Engine (GKE) dan Slurm.

Compute Engine menyediakan GPU untuk VM Anda dalam mode passthrough sehingga VM Anda memiliki kontrol langsung atas GPU dan memori terkaitnya.

Untuk mengetahui informasi selengkapnya tentang GPU di Compute Engine, lihat Tentang GPU.

Jika memiliki workload grafis intensif, seperti visualisasi 3D, rendering 3D, atau aplikasi virtual, Anda dapat menggunakan workstation virtual NVIDIA RTX (sebelumnya dikenal sebagai NVIDIA GRID).

Dokumen ini memberikan ringkasan tentang berbagai VM GPU yang tersedia di Compute Engine.

Untuk melihat region dan zona yang tersedia untuk GPU di Compute Engine, lihat Ketersediaan zona dan region GPU.

GPU untuk workload compute

Untuk beban kerja compute, GPU didukung untuk jenis mesin berikut:

  • VM A4X: VM ini memiliki Superchip NVIDIA GB200 yang terpasang secara otomatis.
  • VM A4: VM ini memiliki GPU NVIDIA B200 yang terpasang secara otomatis.
  • VM A3: VM ini memiliki GPU NVIDIA H100 80 GB atau NVIDIA H200 141 GB yang terpasang secara otomatis.
  • VM A2: VM ini memiliki GPU NVIDIA A100 80 GB atau NVIDIA A100 40 GB yang terpasang secara otomatis.
  • VM G2: VM ini memiliki GPU NVIDIA L4 yang terpasang secara otomatis.
  • VM N1: untuk VM ini, Anda dapat memasang model GPU berikut: NVIDIA T4, NVIDIA V100, NVIDIA P100, atau NVIDIA P4.

Seri mesin A4X

Untuk menggunakan Superchip NVIDIA GB200, Anda harus menggunakan jenis mesin yang dioptimalkan akselerator A4X. Setiap jenis mesin A4X memiliki jumlah GPU tetap, jumlah vCPU, dan ukuran memori.

Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3e)		 Jumlah vCPU† Memori VM (GB) SSD Lokal yang Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (GBps)‡
a4x-highgpu-4g 4 720 140 884 12.000 6 2.000

*Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
†vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Lihat Bandwidth jaringan.

Seri mesin A4

Untuk menggunakan GPU NVIDIA B200 (nvidia-b200), Anda harus menggunakan jenis mesin yang dioptimalkan akselerator A4. Setiap jenis mesin A4 memiliki jumlah GPU tetap, jumlah vCPU, dan ukuran memori.

Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3e)		 Jumlah vCPU† Memori VM (GB) SSD Lokal yang Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps)‡
a4-highgpu-8g 8 1.440 224 3.968 12.000 10 3.600

*Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan sementara data. Memori ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari beban kerja yang intensif grafis.
†vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Lihat Bandwidth jaringan.

Seri mesin A3

Untuk menggunakan GPU NVIDIA H100 80 GB atau NVIDIA H200 141 GB, Anda harus menggunakan jenis mesin yang dioptimalkan akselerator A3. Setiap jenis mesin A3 memiliki jumlah GPU tetap, jumlah vCPU, dan ukuran memori.

Jenis mesin A3 Ultra

Untuk menggunakan GPU NVIDIA H200 141 GB, Anda harus menggunakan jenis mesin A3 Ultra. Jenis mesin ini memiliki GPU H200 141 GB (nvidia-h200-141gb) dan memberikan performa jaringan tertinggi. VM ini ideal untuk pelatihan dan inferensi model dasar.

Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3e)		 Jumlah vCPU† Memori VM (GB) SSD Lokal yang Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps)‡
a3-ultragpu-8g 8 1128 224 2.952 12.000 10 3.600

*Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
†vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Lihat Bandwidth jaringan.

Jenis mesin A3 Mega, High, dan Edge

Untuk menggunakan NVIDIA H100 80 GB, Anda memiliki opsi berikut:

  • A3 Mega: jenis mesin ini memiliki GPU H100 80 GB (nvidia-h100-mega-80gb) dan ideal untuk workload pelatihan dan penayangan skala besar.
  • A3 High: jenis mesin ini memiliki GPU H100 80 GB (nvidia-h100-80gb) dan sangat cocok untuk tugas pelatihan dan penayangan.
  • A3 Edge: jenis mesin ini memiliki GPU H100 80 GB (nvidia-h100-80gb), didesain khusus untuk penayangan, dan tersedia di sejumlah kecil region.

A3 Mega

Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3)		 Jumlah vCPU† Memori VM (GB) SSD Lokal yang Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps)‡
a3-megagpu-8g 8 640 208 1.872 6.000 9 1.800

A3 Tinggi

Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3)		 Jumlah vCPU† Memori VM (GB) SSD Lokal yang Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps)‡
a3-highgpu-1g 1 80 26 234 750 1 25
a3-highgpu-2g 2 160 52 468 1.500 1 50
a3-highgpu-4g 4 320 104 936 3.000 1 100
a3-highgpu-8g 8 640 208 1.872 6.000 5 1.000

A3 Edge

Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3)		 Jumlah vCPU† Memori VM (GB) SSD Lokal yang Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps)‡
a3-edgegpu-8g 8 640 208 1.872 6.000 5

*Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
†vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Lihat Bandwidth jaringan.

Seri mesin A2

Untuk menggunakan GPU NVIDIA A100 di Google Cloud, Anda harus menggunakan jenis mesin yang dioptimalkan akselerator A2. Setiap jenis mesin A2 memiliki jumlah GPU tetap, jumlah vCPU, dan ukuran memori.

Seri mesin A2 tersedia dalam dua jenis:

  • A2 Ultra: jenis mesin ini memiliki GPU A100 80 GB (nvidia-a100-80gb) dan disk SSD Lokal yang terpasang.
  • A2 Standard: jenis mesin ini memiliki GPU A100 40 GB (nvidia-tesla-a100) yang terpasang.

A2 Ultra

Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3)		 Jumlah vCPU† Memori VM (GB) SSD Lokal yang Terpasang (GiB) Bandwidth jaringan maksimum (Gbps)‡
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1.500 50
a2-ultragpu-8g 8 640 96 1.360 3.000 100

A2 Standard

Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3)		 Jumlah vCPU† Memori VM (GB) SSD Lokal yang Terpasang (GiB) Bandwidth jaringan maksimum (Gbps)‡
a2-highgpu-1g 1 40 12 85 Ya 24
a2-highgpu-2g 2 80 24 170 Ya 32
a2-highgpu-4g 4 160 48 340 Ya 50
a2-highgpu-8g 8 320 96 680 Ya 100
a2-megagpu-16g 16 640 96 1.360 Ya 100

Memori GPU *adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

Seri mesin G2

Untuk menggunakan GPU NVIDIA L4 (nvidia-l4 atau nvidia-l4-vws), Anda harus menggunakan jenis mesin yang dioptimalkan akselerator G2.

Setiap jenis mesin G2 memiliki GPU NVIDIA L4 dan vCPU dalam jumlah tetap yang terpasang. Setiap jenis mesin G2 juga memiliki memori default dan rentang memori kustom. Rentang memori kustom menentukan jumlah memori yang dapat Anda alokasikan ke VM untuk setiap jenis mesin. Anda dapat menentukan memori kustom selama pembuatan VM.

Jenis mesin Jumlah GPU Memori GPU* (GB GDDR6) Jumlah vCPU† Memori VM default (GB) Rentang memori VM kustom (GB) SSD Lokal maksimum yang didukung (GiB) Bandwidth jaringan maksimum (Gbps)‡
g2-standard-4 1 24 4 16 16 hingga 32 375 10
g2-standard-8 1 24 8 32 32 hingga 54 375 16
g2-standard-12 1 24 12 48 48 hingga 54 375 16
g2-standard-16 1 24 16 64 54 hingga 64 375 32
g2-standard-24 2 48 24 96 96 hingga 108 750 32
g2-standard-32 1 24 32 128 96 hingga 128 375 32
g2-standard-48 4 96 48 192 192 hingga 216 1.500 50
g2-standard-96 8 192 96 384 384 hingga 432 3.000 100

Memori GPU *adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

Seri mesin N1

Anda dapat memasang model GPU berikut ke jenis mesin N1, kecuali jenis mesin dengan inti bersama N1.

VM N1 dengan jumlah GPU lebih rendah dibatasi hingga jumlah maksimum vCPU. Secara umum, dengan jumlah GPU yang lebih tinggi, Anda dapat membuat instance VM dengan jumlah vCPU dan memori yang lebih tinggi.

GPU N1+T4

Anda dapat memasang GPU NVIDIA T4 ke VM tujuan umum N1 dengan konfigurasi VM berikut.

Jenis akselerator Jumlah GPU Memori GPU* (GB GDDR6) Jumlah vCPU Memori VM (GB) SSD lokal didukung
nvidia-tesla-t4 atau
nvidia-tesla-t4-vws 		1 16 1 hingga 48 1 hingga 312 Ya
2 32 1 hingga 48 1 hingga 312 Ya
4 64 1 hingga 96 1 hingga 624 Ya

Memori GPU *adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

GPU N1+P4

Anda dapat memasang GPU NVIDIA P4 ke VM tujuan umum N1 dengan konfigurasi VM berikut.

Jenis akselerator Jumlah GPU Memori GPU* (GB GDDR5) Jumlah vCPU Memori VM (GB) SSD lokal didukung†
nvidia-tesla-p4 atau
nvidia-tesla-p4-vws 		1 8 1 hingga 24 1 hingga 156 Ya
2 16 1 hingga 48 1 hingga 312 Ya
4 32 1 hingga 96 1 hingga 624 Ya

*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang intensif grafis.

†Untuk VM dengan GPU NVIDIA P4 yang terpasang, disk SSD Lokal hanya didukung di zona us-central1-c dan northamerica-northeast1-b.

GPU N1+V100

Anda dapat memasang GPU NVIDIA V100 ke VM tujuan umum N1 dengan konfigurasi VM berikut.

Jenis akselerator Jumlah GPU Memori GPU* (GB HBM2) Jumlah vCPU Memori VM (GB) SSD lokal didukung†
nvidia-tesla-v100 1 16 1 hingga 12 1 hingga 78 Ya
2 32 1 hingga 24 1 hingga 156 Ya
4 64 1 hingga 48 1 hingga 312 Ya
8 128 1 hingga 96 1 hingga 624 Ya

Memori GPU *adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
†Untuk VM dengan GPU NVIDIA V100 terpasang, disk SSD Lokal tidak didukung di us-east1-c.

GPU N1+P100

Anda dapat memasang GPU NVIDIA P100 ke VM tujuan umum N1 dengan konfigurasi VM berikut.

Untuk beberapa GPU NVIDIA P100, CPU dan memori maksimum yang tersedia untuk beberapa konfigurasi bergantung pada zona tempat resource GPU berjalan.

Jenis akselerator Jumlah GPU Memori GPU* (GB HBM2) Jumlah vCPU Memori VM (GB) SSD lokal didukung
nvidia-tesla-p100 atau
nvidia-tesla-p100-vws 		1 16 1 hingga 16 1 hingga 104 Ya
2 32 1 hingga 32 1 hingga 208 Ya
4 64

1 hingga 64
(us-east1-c, europe-west1-d, europe-west1-b)

1 hingga 96
(semua zona P100)

1 hingga 208
(us-east1-c, europe-west1-d, europe-west1-b)

1 hingga 624 GB
(semua zona P100)

 Ya

Memori GPU *adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

NVIDIA RTX Virtual Workstations (vWS) untuk beban kerja grafis

Jika memiliki workload grafis yang intensif, seperti visualisasi 3D, Anda dapat membuat workstation virtual yang menggunakan NVIDIA RTX Virtual Workstation (vWS) (sebelumnya dikenal sebagai NVIDIA GRID). Saat Anda membuat workstation virtual, lisensi NVIDIA RTX Virtual Workstation (vWS) akan otomatis ditambahkan ke VM Anda.

Untuk mengetahui informasi tentang harga workstation virtual, lihat halaman harga GPU.

Untuk beban kerja grafis, model workstation virtual (vWS) NVIDIA RTX tersedia:

  • Seri mesin G2: untuk jenis mesin G2, Anda dapat mengaktifkan NVIDIA L4 Virtual Workstations (vWS): nvidia-l4-vws

  • Seri mesin N1: untuk jenis mesin N1, Anda dapat mengaktifkan workstation virtual berikut:

    • Workstation Virtual NVIDIA T4: nvidia-tesla-t4-vws
    • Workstation Virtual NVIDIA P100: nvidia-tesla-p100-vws
    • Workstation Virtual NVIDIA P4: nvidia-tesla-p4-vws

Diagram perbandingan umum

Tabel berikut menjelaskan ukuran memori GPU, ketersediaan fitur, dan jenis beban kerja ideal dari berbagai model GPU yang tersedia di Compute Engine.

Model GPU Memori GPU Interkoneksi Dukungan NVIDIA RTX Virtual Workstation (vWS) Paling baik digunakan untuk
GB200 HBM3e 180 GB @ 8 TBps NVLink Mesh Penuh @ 1.800 GBps Pelatihan dan inferensi LLM, Sistem Rekomendasi, HPC terdistribusi skala besar
B200 HBM3e 180 GB @ 8 TBps NVLink Mesh Penuh @ 1.800 GBps Pelatihan dan inferensi LLM, Sistem Rekomendasi, HPC terdistribusi skala besar
H200 141GB HBM3e 141 GB @ 4,8 TBps NVLink Mesh Penuh @ 900 GBps Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM
H100 80GB HBM3 80 GB @ 3,35 TBps NVLink Mesh Penuh @ 900 GBps Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM
A100 80GB HBM2e 80 GB @ 1,9 TBps NVLink Mesh Penuh @ 600 GBps Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM
A100 40GB HBM2 40 GB @ 1,6 TBps NVLink Mesh Penuh @ 600 GBps Pelatihan ML, Inferensi, HPC
L4 24 GB GDDR6 @ 300 GBps T/A Inferensi ML, Pelatihan, Workstation Visualisasi Jarak Jauh, Transcoding Video, HPC
T4 16 GB GDDR6 @ 320 GB/s T/A Inferensi ML, Pelatihan, Workstation Visualisasi Jarak Jauh, Transcoding Video
V100 16 GB HBM2 @ 900 GBps NVLink Ring @ 300 GBps Pelatihan ML, Inferensi, HPC
P4 8 GB GDDR5 @ 192 GBps T/A Workstation Visualisasi Jarak Jauh, Inferensi ML, dan Transcoding Video
P100 16 GB HBM2 @ 732 GBps T/A Pelatihan ML, Inferensi, HPC, Workstation Visualisasi Jarak Jauh

Guna membandingkan harga GPU untuk berbagai model dan region GPU yang tersedia di Compute Engine, lihat harga GPU.

Diagram perbandingan performa

Tabel berikut menjelaskan spesifikasi performa berbagai model GPU yang tersedia di Compute Engine.

Performa compute

Model GPU FP64 FP32 FP16 INT8
GB200 90 TFLOP 180 TFLOP
B200 40 TFLOP 80 TFLOPS
H200 141GB 34 TFLOP 67 TFLOP
H100 80GB 34 TFLOP 67 TFLOP
A100 80GB 9,7 TFLOP 19,5 TFLOP
A100 40GB 9,7 TFLOP 19,5 TFLOP
L4 0,5 TFLOP* 30,3 TFLOP
T4 0,25 TFLOP* 8,1 TFLOP
V100 7,8 TFLOP 15,7 TFLOP
P4 0,2 TFLOP* 5,5 TFLOP 22 TOPS†
P100 4,7 TFLOP 9,3 TFLOP 18,7 TFLOP

*Agar kode FP64 dapat berfungsi dengan benar, sejumlah kecil unit hardware FP64 disertakan dalam arsitektur GPU T4, L4, dan P4.
†TeraOperations per Detik.

Performa Tensor core

Model GPU FP64 TF32 FP16/FP32 presisi campuran INT8 INT4 FP8
GB200 90 TFLOP 2.500 TFLOPS† 5.000 TFLOP*, † 10.000 TFLOP† 20.000 TFLOP† 10.000 TFLOP†
B200 40 TFLOP 1.100 TFLOPS† 4.500 TFLOPS*, † 9.000 TFLOPS† 9.000 TFLOPS†
H200 141GB 67 TFLOP 989 TFLOP† 1.979 TFLOP*, † 3.958 TOPS† 3.958 TFLOP†
H100 80GB 67 TFLOP 989 TFLOP† 1.979 TFLOP*, † 3.958 TOPS† 3.958 TFLOP†
A100 80GB 19,5 TFLOP 156 TFLOP 312 TFLOP* 624 TOPS 1248 TOPS
A100 40GB 19,5 TFLOP 156 TFLOP 312 TFLOP* 624 TOPS 1248 TOPS
L4 120 TFLOP† 242 TFLOPS*, † 485 TOPS† 485 TFLOPS†
T4 65 TFLOP 130 TOPS 260 TOPS
V100 125 TFLOP
P4
P100

*Untuk pelatihan presisi campuran, GPU NVIDIA GB200, B200, H200, H100, A100, dan L4 juga mendukung jenis data bfloat16.
†Untuk GPU NVIDIA GB200, B200, H200, H100, dan L4, ketersebaran struktural didukung dan dapat Anda gunakan untuk menggandakan nilai performa. Nilai yang ditampilkan adalah dengan kejarangan. Spesifikasi setengah lebih rendah tanpa sparsitas.

Apa langkah selanjutnya?