Kuota bersama dinamis (DSQ)

Kuota bersama dinamis (DSQ) diperkenalkan untuk menayangkan permintaan bayar sesuai penggunaan (PayGo) Anda dengan fleksibilitas yang lebih besar untuk beradaptasi dengan kebutuhan beban kerja Anda tanpa harus mengelola kuota dan permintaan penambahan kuota (QIR). Dengan DSQ, tidak ada batas kuota yang telah ditentukan untuk penggunaan Anda. Sebagai gantinya, DSQ menyediakan akses ke kumpulan resource bersama yang besar, yang dialokasikan secara dinamis berdasarkan ketersediaan resource real-time dan permintaan real-time di semua pelanggan model tersebut. Jika lebih banyak pelanggan aktif, setiap pelanggan akan mendapatkan jumlah throughput yang lebih rendah. Demikian pula, jika ada lebih sedikit pelanggan, setiap pelanggan mungkin mendapatkan throughput yang lebih tinggi.

Model yang didukung

Model Gemini berikut dan model penyesuaian yang diawasi-nya mendukung DSQ:

Model Gemini lama berikut mendukung DSQ:

  • Gemini 1.5 Pro
  • Gemini 1.5 Flash

Cara kerja DSQ

Kuota bersama dinamis (DSQ) beradaptasi dengan pola dan kebutuhan traffic Anda serta meminimalkan hambatan penggunaan. Akses project Anda ke resource dalam DSQ tidak dibatasi oleh jumlah arbitrer yang kami tetapkan. Sebagai gantinya, harga ditentukan oleh keseluruhan kapasitas kumpulan bersama dan permintaan kolektif saat ini dari semua pelanggan. Model ini dirancang untuk menawarkan fleksibilitas yang signifikan, sehingga beban kerja Anda dapat melonjak dan menggunakan lebih banyak resource jika tersedia. Sebaliknya, hal ini juga memungkinkan semua pelanggan kumpulan bersama memiliki peluang untuk mengakses resource saat tersedia tanpa perlu mengonfigurasi kuota per pelanggan.

Untuk memastikan pengalaman yang adil dan stabil bagi semua pengguna di lingkungan resource bersama, Kuota Bersama Dinamis secara cerdas mengelola cara penanganan permintaan, terutama selama periode permintaan yang sangat tinggi dari sumber yang terisolasi. Daripada batas tetap, DSQ menggunakan pendekatan prioritas dinamis. Artinya, meskipun sistem dirancang untuk mengakomodasi lonjakan, lonjakan traffic yang sangat besar dan cepat dari satu sumber dapat ditangani dengan prioritas yang berbeda dari traffic yang lebih konsisten dan stabil. Pengelolaan yang canggih ini memastikan bahwa aktivitas pengguna yang luas dan beban kerja reguler dilindungi dari lonjakan ekstrem yang bersifat sementara, sehingga meningkatkan stabilitas sistem secara keseluruhan dan akses yang adil.

Permintaan Gemini dengan input multi-modal tunduk pada batas kapasitas sistem yang sesuai yang mencakup gambar, audio, video, dan dokumen.

Untuk membantu memastikan ketersediaan tinggi bagi aplikasi Anda dan mendapatkan tingkat layanan yang dapat diprediksi untuk workload produksi, lihat Throughput yang Disediakan.

Memahami error 429 Resource Exhaustion dalam DSQ

Kami memahami bahwa mengalami error 429 'resource habis' dapat menjadi hal yang menjengkelkan dan mungkin membuat Anda curiga bahwa Anda mencapai semacam batas kuota. Namun, dengan DSQ, hal ini tidak berlaku. Error ini menunjukkan bahwa kumpulan resource bersama secara keseluruhan untuk jenis tertentu tersebut (misalnya, model tertentu di wilayah tertentu) pada waktu tertentu mengalami permintaan yang sangat tinggi dari banyak pengguna secara bersamaan. Anggap saja seperti mencoba naik kereta yang sangat populer selama jam sibuk. Tidak ada 'batas tiket' khusus untuk Anda, tetapi kereta itu sendiri mungkin penuh untuk sementara. Ini adalah status sementara perselisihan untuk resource, bukan batas tetap yang dikenakan pada project Anda.

DSQ terus berupaya mengelola dan mendistribusikan kapasitas yang tersedia secara adil dan efisien. Jika Anda menerima error tersebut, artinya permintaan instan telah melampaui pasokan yang tersedia di kumpulan bersama tersebut. Tidak seperti kuota keras yang akan memblokir Anda meskipun resource tidak ada aktivitas di tempat lain, DSQ bertujuan untuk memberi Anda akses setiap kali resource tersedia. Error kehabisan kapasitas adalah cerminan beban seluruh sistem saat ini, bukan batas akun Anda.

Sebaiknya terapkan mekanisme percobaan ulang, karena ketersediaan di lingkungan dinamis ini dapat berubah dengan cepat. Untuk mengetahui taktik penanganan error Resource Exhaustion selengkapnya, lihat Panduan penanganan error 429 atau Kode error 429.

Langkah berikutnya