Menggunakan Throughput yang Disediakan

Cara kerja Throughput yang Disediakan

Bagian ini menjelaskan cara kerja Throughput yang Disediakan dengan menggunakan pemeriksaan kuota selama periode penerapan kuota.

Pemeriksaan kuota Throughput yang Disediakan

Kuota maksimum Throughput yang Disediakan adalah kelipatan dari jumlah unit penskalaan AI generatif (GSU) yang dibeli dan throughput per GSU. Hal ini diperiksa setiap kali Anda membuat permintaan dalam periode penerapan kuota, yang merupakan frekuensi penerapan kuota Throughput yang Disediakan maksimum.

Pada saat permintaan diterima, ukuran respons sebenarnya tidak diketahui. Karena kami memprioritaskan kecepatan respons untuk aplikasi real-time, Throughput yang Disediakan memperkirakan ukuran token output. Jika estimasi awal melebihi kuota maksimum Throughput yang Disediakan yang tersedia, permintaan akan diproses sebagai bayar sesuai penggunaan. Jika tidak, permintaan akan diproses sebagai Throughput yang Disediakan. Hal ini dilakukan dengan membandingkan estimasi awal dengan kuota maksimum Throughput yang Disediakan.

Saat respons dibuat dan ukuran token output sebenarnya diketahui, penggunaan dan kuota sebenarnya akan disesuaikan dengan menambahkan perbedaan antara perkiraan dan penggunaan sebenarnya ke jumlah kuota Throughput yang Disediakan yang tersedia.

Periode penegakan kuota Throughput yang Disediakan

Untuk model gemini-2.0-flash-lite dan gemini-2.0-flash, periode penerapan kuota dapat memerlukan waktu hingga 30 detik dan dapat berubah. Artinya, Anda mungkin mengalami traffic yang diprioritaskan untuk sementara yang melebihi jumlah kuota Anda per detik dalam beberapa kasus, tetapi Anda tidak boleh melebihi kuota Anda per 30 detik. Periode ini didasarkan pada waktu internal Vertex AI dan tidak bergantung pada waktu permintaan dibuat.

Misalnya, jika Anda membeli satu GSU gemini-2.0-flash-001, Anda dapat mengharapkan throughput selalu aktif sebesar 3.360 token per detik. Rata-rata, Anda tidak dapat melebihi 100.800 token dalam jangka waktu 30 detik, yang dihitung menggunakan formula berikut:

3,360 tokens per second * 30 seconds = 100,800 tokens

Jika dalam sehari Anda hanya mengirimkan satu permintaan yang menggunakan 8.000 token dalam satu detik, permintaan tersebut mungkin masih diproses sebagai permintaan Throughput yang Disediakan, meskipun Anda melampaui batas 3.360 token per detik pada saat permintaan. Hal ini karena permintaan tidak melebihi batas 100.800 token per 30 detik.

Mengontrol kelebihan penggunaan atau melewati Throughput yang Disediakan

Gunakan API untuk mengontrol kelebihan penggunaan saat Anda melampaui throughput yang dibeli atau untuk melewati Throughput yang Disediakan berdasarkan per permintaan.

Baca setiap opsi untuk menentukan apa yang harus Anda lakukan untuk memenuhi kasus penggunaan Anda.

Perilaku default

Jika Anda melebihi jumlah throughput yang dibeli, kelebihan penggunaan akan dialihkan ke on-demand dan ditagih dengan tarif bayar sesuai penggunaan. Setelah pesanan Throughput yang Disediakan aktif, perilaku default akan terjadi secara otomatis. Anda tidak perlu mengubah kode untuk mulai menggunakan pesanan selama Anda menggunakannya di wilayah yang disediakan.

Hanya menggunakan Throughput yang Disediakan

Jika Anda mengelola biaya dengan menghindari biaya sesuai permintaan, gunakan hanya Throughput yang Disediakan. Permintaan yang melebihi jumlah pesanan Throughput yang Disediakan akan menampilkan error 429.

Saat mengirim permintaan ke API, tetapkan header HTTP X-Vertex-AI-LLM-Request-Type ke dedicated.

Hanya menggunakan bayar sesuai penggunaan

Hal ini juga disebut sebagai penggunaan sesuai permintaan. Permintaan melewati urutan Throughput yang Disediakan dan dikirim langsung ke bayar sesuai penggunaan. Hal ini mungkin berguna untuk eksperimen atau aplikasi yang sedang dalam pengembangan.

Saat mengirim permintaan ke API, tetapkan header HTTP X-Vertex-AI-LLM-Request-Type ke shared.

Contoh

pip install --upgrade google-genai

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=us-central1
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import HttpOptions

client = genai.Client(
    http_options=HttpOptions(
        api_version="v1",
        headers={
            # Options:
            # - "dedicated": Use Provisioned Throughput
            # - "shared": Use pay-as-you-go
            # https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
            "X-Vertex-AI-LLM-Request-Type": "shared"
        },
    )
)
response = client.models.generate_content(
    model="gemini-2.5-flash",
    contents="How does AI work?",
)
print(response.text)
# Example response:
# Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#
# Here's a simplified overview:
# ...

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-Vertex-AI-LLM-Request-Type: dedicated" \ # Options: dedicated, shared
  $URL \
  -d '{"contents": [{"role": "user", "parts": [{"text": "Hello."}]}]}'

Memantau Throughput yang Disediakan

Anda dapat memantau sendiri penggunaan Throughput yang Disediakan menggunakan serangkaian metrik yang diukur pada jenis resource aiplatform.googleapis.com/PublisherModel.

Pemantauan traffic Throughput yang Disediakan adalah fitur Pratinjau publik.

Dimensi

Anda dapat memfilter metrik menggunakan dimensi berikut:

Awalan jalur

Awalan jalur untuk metrik adalah aiplatform.googleapis.com/publisher/online_serving.

Misalnya, jalur lengkap untuk metrik /consumed_throughput adalah aiplatform.googleapis.com/publisher/online_serving/consumed_throughput.

Metrik

Metrik Cloud Monitoring berikut tersedia di resource aiplatform.googleapis.com/PublisherModel untuk model Gemini. Gunakan jenis permintaan dedicated untuk memfilter penggunaan Throughput yang Disediakan.

Model Anthropic juga memiliki filter untuk Throughput yang Disediakan, tetapi hanya untuk tokens/token_count.

Dasbor

Dasbor pemantauan default untuk Throughput yang Disediakan menyediakan metrik yang memungkinkan Anda lebih memahami penggunaan dan pemanfaatan Throughput yang Disediakan. Untuk mengakses dasbor, lakukan tindakan berikut:

1. Di konsol Google Cloud , buka halaman Provisioned Throughput.

   Buka Throughput yang Disediakan

2. Untuk melihat pemanfaatan Throughput yang Disediakan dari setiap model di seluruh pesanan Anda, pilih tab Ringkasan pemanfaatan.

   Di tabel Penggunaan throughput yang disediakan menurut model, Anda dapat melihat hal berikut untuk rentang waktu yang dipilih:

   • Jumlah total GSU yang Anda miliki.

   • Penggunaan throughput puncak dalam hal GSU.

   • Penggunaan GSU rata-rata.

   • Jumlah berapa kali Anda mencapai batas Throughput yang Disediakan.

3. Pilih model dari tabel Penggunaan Throughput yang Disediakan menurut model untuk melihat metrik lainnya yang khusus untuk model yang dipilih.

Batasan dasbor

Dasbor mungkin menampilkan hasil yang tidak terduga, terutama untuk traffic yang berfluktuasi dan tidak teratur (misalnya, kurang dari 1 kueri per detik). Alasan berikut mungkin berkontribusi pada hasil tersebut:

• Rentang waktu yang lebih besar dari 12 jam dapat menyebabkan representasi periode penerapan kuota yang kurang akurat. Metrik throughput dan turunannya, seperti pemanfaatan, menampilkan rata-rata di seluruh periode penyelarasan yang didasarkan pada rentang waktu yang dipilih. Saat rentang waktu diperluas, setiap periode penyelarasan juga diperluas. Periode penyelarasan diperluas di seluruh penghitungan penggunaan rata-rata. Karena penerapan kuota dihitung pada tingkat sub-menit, menetapkan rentang waktu ke periode 12 jam atau kurang akan menghasilkan data tingkat menit yang lebih sebanding dengan periode penerapan kuota sebenarnya. Untuk mengetahui informasi selengkapnya tentang periode perataan, lihat Perataan: regularisasi dalam deret. Untuk mengetahui informasi selengkapnya tentang rentang waktu, lihat Menyederhanakan interval waktu.
• Jika beberapa permintaan dikirimkan secara bersamaan, pemantauan agregasi dapat memengaruhi kemampuan Anda untuk memfilter permintaan tertentu.
• Throughput yang Disediakan membatasi traffic saat permintaan dibuat, tetapi melaporkan metrik penggunaan setelah kuota disesuaikan.
• Periode penegakan kuota Throughput yang Disediakan tidak bergantung pada dan mungkin tidak selaras dengan periode agregasi pemantauan atau periode permintaan atau respons.
• Jika tidak ada error yang terjadi, Anda mungkin melihat pesan error dalam diagram rasio error. Misalnya, Terjadi error saat meminta data. Satu atau beberapa resource tidak dapat ditemukan.

Memantau model Genmedia

Metrik untuk model Veo 3 dan Imagen mengekspresikan throughput dalam token, sebagai berikut:

• Untuk model Veo: 1 token = 1 detik video

• Untuk model Imagen: 1 token = 1 gambar

Misalnya, jika Anda memantau penggunaan Throughput yang Disediakan untuk model Veo 3, metrik /consumed_token_throughput mewakili throughput detik video dan /dedicated_token_limit mewakili batas khusus dalam detik video per detik.

Pemberitahuan

Setelah pemberitahuan diaktifkan, tetapkan pemberitahuan default untuk membantu Anda mengelola penggunaan traffic.

Aktifkan notifikasi

Untuk mengaktifkan pemberitahuan di dasbor, lakukan tindakan berikut:

1. Di konsol Google Cloud , buka halaman Provisioned Throughput.

   Buka Throughput yang Disediakan

2. Untuk melihat pemanfaatan Throughput yang Disediakan dari setiap model di seluruh pesanan Anda, pilih tab Ringkasan pemanfaatan.

3. Pilih Notifikasi yang direkomendasikan, dan notifikasi berikut akan ditampilkan:

   • Provisioned Throughput Usage Reached Limit
   • Provisioned Throughput Utilization Exceeded 80%
   • Provisioned Throughput Utilization Exceeded 90%

4. Periksa peringatan yang membantu Anda mengelola traffic.

Melihat detail notifikasi lainnya

Untuk melihat informasi selengkapnya tentang pemberitahuan, lakukan tindakan berikut:

1. Buka halaman Integrations.

   Buka Integrations

2. Masukkan vertex ke kolom Filter, lalu tekan Enter. Google Vertex AI akan muncul.

3. Untuk melihat informasi selengkapnya, klik Lihat detail. Panel Detail Google Vertex AI akan ditampilkan.

4. Pilih tab Pemberitahuan, lalu Anda dapat memilih template Kebijakan Pemberitahuan.

Langkah berikutnya

• Memecahkan masalah Kode error 429.