Opsi penggunaan Cloud TPU
Dokumen ini memberikan deskripsi tentang opsi penggunaan yang didukung untuk Cloud TPU. Opsi pemakaian adalah metode yang digunakan untuk meminta kapasitas. Saat memilih opsi penggunaan, pertimbangkan faktor-faktor berikut:
- Seberapa cepat Anda memerlukan kapasitas
- Berapa lama Anda memerlukan kapasitas
- Apakah Anda memerlukan kapasitas untuk jangka waktu tetap atau fleksibel
- Apakah kapasitas Anda dapat didahului
- Harga
Jika menggunakan Cloud TPU API, untuk setiap metode penggunaan, Anda memerlukan kuota on-demand atau preemptible untuk jumlah core Cloud TPU yang ingin digunakan. Ada kuota on-demand dan preemptible default yang berbeda untuk setiap versi TPU. Untuk mengetahui informasi selengkapnya, lihat Kuota Cloud TPU.
Jika menggunakan TPU dengan Google Kubernetes Engine (GKE), Anda menggunakan kuota Compute Engine API, yang merupakan kuota yang berbeda. Untuk mengetahui informasi selengkapnya tentang kuota yang Anda gunakan untuk TPU di GKE, lihat Memastikan Anda memiliki kuota TPU.
| Opsi pemakaian | Cara kerjanya | Paling baik digunakan untuk | Versi dan zona TPU yang didukung | Jenis kuota untuk Cloud TPU API |
|---|---|---|---|---|
| Reservasi | Anda meminta resource TPU di muka untuk jangka waktu tertentu. Resource ini dicadangkan untuk penggunaan eksklusif Anda selama jangka waktu tersebut. Pemesanan memberikan tingkat jaminan tertinggi untuk kapasitas dan hemat biaya, dengan harga yang lebih rendah daripada resource on demand. Anda hanya dapat menggunakan reservasi untuk TPU jika memiliki diskon abonemen (DA). Untuk informasi selengkapnya, hubungi Google Cloud bagian penjualan. |
Reservasi sangat cocok untuk tugas pelatihan yang berjalan lama dan beban kerja inferensi. | Semua versi TPU: Lihat Wilayah dan zona TPU | Kuota on demand |
| On demand | Anda meminta resource TPU untuk digunakan sesegera mungkin, selama yang Anda inginkan. Sesuai permintaan menawarkan fleksibilitas tertinggi. Resource on-demand tidak akan didahului, tetapi tidak ada jaminan bahwa akan ada resource TPU yang tersedia untuk memenuhi permintaan Anda. On-demand adalah default saat Anda membuat resource TPU. Untuk informasi selengkapnya tentang cara membuat dan menggunakan TPU on-demand, lihat Mengelola resource TPU. |
On demand sangat cocok untuk tugas dan beban kerja mendesak yang memerlukan waktu akhir yang fleksibel. | Semua versi TPU: Lihat Wilayah dan zona TPU | Kuota on demand |
| Flex-start (Pratinjau publik) | Anda meminta resource TPU untuk jangka waktu tertentu, hingga 7 hari, tanpa perlu memesan kapasitas terlebih dahulu. Resource fleksibel dikirim dari kumpulan kapasitas khusus, sehingga ketersediaan resource ini lebih tinggi daripada on-demand. Untuk mengetahui informasi selengkapnya tentang penggunaan Flex-start dengan TPU, lihat Meminta Cloud TPU menggunakan Flex-start. Catatan: Flex-start untuk TPU hanya didukung menggunakan Cloud TPU API. Tindakan ini tidak didukung menggunakan GKE API. |
Flex-start ideal untuk eksperimen, pengujian skala kecil, penyediaan dinamis TPU untuk beban kerja inferensi, penyesuaian model, dan pengoperasian beban kerja yang memerlukan waktu kurang dari 7 hari. |
v6e (Trillium) untuk pelatihan dan penayangan: asia-northeast1-b, us-east5-a v5e untuk pelatihan: us-west4-a v5e untuk penayangan: us-central1-a |
Kuota preemptible |
| Spot | Anda meminta resource TPU yang dapat di-preempt. Spot VM tersedia dengan harga yang jauh lebih rendah daripada resource sesuai permintaan. Spot VM mungkin lebih mudah diperoleh daripada resource sesuai permintaan, tetapi dapat di-preempt (dimatikan) kapan saja. Tidak ada batasan durasi runtime. Untuk mengetahui informasi selengkapnya tentang Spot VM TPU, lihat Mengelola Spot VM TPU. |
Spot cocok untuk menjadwalkan beban kerja dengan prioritas lebih rendah seperti pra-pelatihan model, penyesuaian model, dan tugas simulasi yang toleran terhadap gangguan ketersediaan. | Semua versi TPU: Lihat Wilayah dan zona TPU | Kuota preemptible |
Langkah berikutnya
Mulai menggunakan TPU menggunakan: