Ringkasan Throughput yang Disediakan

Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Pengantar Throughput yang Disediakan

Throughput yang Disediakan adalah langganan dengan biaya tetap dan jangka waktu tetap yang tersedia dalam beberapa durasi yang mencadangkan throughput untuk model AI generatif yang didukung di Vertex AI. Untuk mencadangkan throughput, Anda harus menentukan model dan lokasi yang tersedia tempat model berjalan.

Kapan harus menggunakan Throughput yang Disediakan

Jika salah satu pertimbangan berikut berlaku untuk kasus penggunaan Anda, pertimbangkan untuk menggunakan Throughput yang Disediakan:

• Anda sedang membangun aplikasi produksi AI generatif real-time, seperti chatbot dan agen.
• Beban kerja penting Anda secara konsisten memerlukan throughput tinggi. Pengukuran throughput bergantung pada model.
• Anda ingin memberikan pengalaman yang konsisten dan dapat diprediksi bagi pengguna aplikasi Anda.
• Anda menginginkan biaya AI generatif deterministik dengan membayar harga bulanan atau mingguan tetap dengan kontrol kelebihan.

Throughput yang Disediakan adalah salah satu dari dua cara untuk menggunakan model AI generatif Anda. Cara kedua adalah bayar sesuai pemakaian, yang juga disebut sebagai on-demand.

Langkah berikutnya

• Model yang didukung menggunakan Provisioned Throughput.