Tutorial, panduan memulai, dan dokumentasi Cloud TPU
Cloud Tensor Processing Unit (TPU)
Mempercepat pengembangan AI dengan Google Cloud TPU
Tidak yakin apakah TPU sesuai dengan kebutuhan Anda? Pelajari kapan saatnya harus menggunakan GPU atau CPU di instance Compute Engine untuk menjalankan workload machine learning.
Ringkasan
Apa itu Tensor Processing Unit (TPU)?
Apa saja keuntungan Cloud TPU?
Kapan harus menggunakan Cloud TPU?
Apa perbedaan Cloud TPU dengan GPU?
GPU adalah pemroses khusus yang awalnya dirancang untuk memanipulasi grafis komputer. Dengan struktur paralelnya, GPU cocok untuk algoritma yang memproses blok data besar yang biasanya ditemukan dalam workload AI. Pelajari lebih lanjut.
TPU adalah application-specific integrated circuit (ASIC) yang dirancang oleh Google untuk jaringan neural. TPU memiliki fitur khusus, seperti matrix multiply unit (MXU) dan topologi interkoneksi eksklusif, sehingga cocok untuk mempercepat pelatihan dan inferensi AI.
Versi Cloud TPU
Cloud TPU v5e
Cloud TPU yang paling efisien, fleksibel, dan skalabel.
Cloud TPU v5e akan tersedia di Amerika Utara (region Amerika Serikat Barat/Tengah/Timur), EMEA (Belanda), dan APAC (Singapura)
Cloud TPU v4
Cloud TPU yang paling canggih untuk melatih model AI.
Cloud TPUv4 tersedia di region us-central2
| Versi Cloud TPU | Deskripsi | Ketersediaan |
|---|---|---|
|
Cloud TPU v5e |
Cloud TPU yang paling efisien, fleksibel, dan skalabel. |
Cloud TPU v5e akan tersedia di Amerika Utara (region Amerika Serikat Barat/Tengah/Timur), EMEA (Belanda), dan APAC (Singapura) |
|
Cloud TPU v4 |
Cloud TPU yang paling canggih untuk melatih model AI. |
Cloud TPUv4 tersedia di region us-central2 |
Cara Kerjanya
Lihatlah lebih dalam keajaiban Google Cloud TPU, termasuk tampilan dalam yang langka dari pusat data tempat semua hal terjadi. Pelanggan menggunakan Cloud TPU untuk menjalankan beberapa workload AI terbesar di dunia dan keunggulan tersebut berasal dari lebih dari sekedar chip. Dalam video ini, lihat komponen sistem TPU, termasuk jaringan pusat data, tombol sirkuit optik, sistem pendingin air, verifikasi keamanan biometrik, dan banyak lagi.
Penggunaan Umum
Menjalankan workload pelatihan AI berskala besar
Penskalaan yang hemat biaya dengan Cloud TPU Multislice
TPU v5e memberikan performa pelatihan per dolar hingga 2x lebih tinggi untuk model LLM dan AI Generatif dibandingkan dengan TPU v4. Teknologi multislice memungkinkan pengguna dengan mudah menskalakan model AI di luar satu pod TPU, melatih puluhan ribu chip Cloud TPU, untuk TPU v5e dan TPU v4. Dengan Multislice, developer dapat memanfaatkan model pemrograman XLA yang sama untuk menskalakan workload melalui interkoneksi antar-chip (ICI) dalam satu pod, atau antar-pod melalui jaringan pusat data (DCN).
Meningkatkan kualitas model AI dasar
Menyesuaikan LLM untuk aplikasi Anda dengan Pytorch/XLA
Tingkatkan kualitas model dasar secara efisien dengan memanfaatkan data pelatihan Anda sendiri yang mewakili kasus penggunaan Anda. Cloud TPU v5e memberikan performa fine-tuning LLM per dolar hingga 1,9x lebih tinggi dibandingkan Cloud TPU v4.
Melayani workload inferensi AI berskala besar
Memaksimalkan performa/$ dengan infrastruktur AI yang dapat diskalakan
Cloud TPU v5e memungkinkan inferensi berperforma tinggi dan hemat biaya untuk berbagai workload AI, termasuk model LLM dan AI Generatif terbaru. TPU v5e menghadirkan performa throughput hingga 2,5x per dolar lebih banyak dan kecepatan hingga 1,7x dibandingkan Cloud TPU v4. Setiap chip TPU v5e menyediakan hingga 393 triliun operasi int8 per detik, sehingga memungkinkan model kompleks membuat prediksi dengan cepat. Pod TPU v5e menghasilkan hingga 100 kuadriliun operasi int8 per detik, atau 100 petaOps daya komputasi.
Pelajari lebih lanjut di sini
Cloud TPU di GKE
Penskalaan yang mudah dengan GKE
Kombinasikan kecanggihan Cloud TPU dengan fleksibilitas dan skalabilitas GKE untuk membangun dan men-deploy model machine learning dengan lebih cepat dan mudah dibandingkan sebelumnya. Dengan Cloud TPU yang tersedia di GKE, Anda kini dapat memiliki satu lingkungan operasi yang konsisten untuk semua workload Anda, yang menstandarkan pipeline MLOps otomatis.
Cloud TPU di Vertex AI
Vertex AI Training & Prediction dengan Cloud TPU
Bagi pelanggan yang mencari cara paling sederhana untuk mengembangkan model AI, Anda dapat men-deploy Cloud TPU v5e dengan Vertex AI, sebuah platform menyeluruh untuk membangun model AI pada infrastruktur yang terkelola sepenuhnya dan dibuat khusus untuk layanan berlatensi rendah dan pelatihan berperforma tinggi.
Harga
Harga Cloud TPU
Semua harga Cloud TPU adalah per chip-jam
Mulai dari
$1,200
per chip-jam
Mulai dari
$0,8400
per chip-jam
Mulai dari
$0,5400
per chip-jam
Cloud TPU v4
Mulai dari
$3,2200
per chip-jam
Mulai dari
$2,0286
per chip-jam
Mulai dari
$1,4490
per chip-jam
| Harga Cloud TPU | Semua harga Cloud TPU adalah per chip-jam | ||
|---|---|---|---|
| Versi Cloud TPU | Harga Evaluasi (USD) | Komitmen 1 tahun (USD) | Komitmen 3 tahun (USD) |
| Cloud TPU v5e |
Mulai dari $1,200 per chip-jam |
Mulai dari $0,8400 per chip-jam |
Mulai dari $0,5400 per chip-jam |
|
Cloud TPU v4 |
Mulai dari $3,2200 per chip-jam |
Mulai dari $2,0286 per chip-jam |
Mulai dari $1,4490 per chip-jam |