Model Google
Throughput yang Disediakan hanya mendukung model yang Anda panggil langsung
dari project menggunakan ID model tertentu, bukan alias model. Untuk menggunakan
Throughput yang Disediakan untuk melakukan panggilan API ke model, Anda harus menggunakan
ID versi model tertentu (misalnya, gemini-2.0-flash-001) dan bukan
alias versi model.
Selain itu, Throughput yang Disediakan tidak mendukung model yang dipanggil oleh produk Vertex AI lainnya, seperti Vertex AI Agents dan Vertex AI Search. Misalnya, jika Anda membuat panggilan API ke Gemini 2.0 Flash saat menggunakan Vertex AI Search, pesanan Throughput yang Disediakan untuk Gemini 2.0 Flash tidak akan menjamin panggilan yang dilakukan oleh Vertex AI Search.
Tabel berikut menunjukkan throughput, kenaikan pembelian, dan rasio penyusutan untuk model Google yang mendukung Throughput yang Disediakan. Throughput per detik Anda ditentukan sebagai input perintah dan output yang dihasilkan di semua permintaan per detik.
Untuk mengetahui jumlah token yang diperlukan beban kerja Anda, lihat tokenizer SDK atau countTokens API.
| Model | Throughput per detik per GSU | Unit | Kenaikan pembelian GSU minimum | Rasio penyelesaian |
|---|---|---|---|---|
Gemini 2.5 Flash dengan Live API Versi terbaru yang didukung: |
1620 | Token | 1 | 1 token teks input = 1 token teks input 1 token audio input = 6 token teks input 1 token video input = 6 token teks input 1 token memori sesi input = 1 token teks input 1 token teks output = 4 token teks input 1 token audio output = 24 token teks input |
Gemini 2.5 Flash-Lite Versi terbaru yang didukung: |
8070 | Token | 1 |
1 token teks input = 1 token 1 token gambar input = 1 token 1 token video input = 1 token 1 token audio input = 5 token 1 token teks respons output = 4 token |
Gemini 2.5 Pro Versi terbaru yang didukung: |
650 | Token | 1 |
Kurang dari atau sama dengan 200.000 token input: 1 token teks input = 1 token 1 token gambar input = 1 token 1 token video input = 1 token 1 token audio input = 1 token 1 token teks respons output = 8 token 1 token teks penalaran output = 8 token Lebih dari 200.000 token input: 1 token teks input = 2 token 1 token gambar input = 2 token 1 token video input = 2 token 1 token audio input = 2 token 1 token teks respons output = 12 token 1 token teks penalaran output = 12 token |
Gemini 2.5 Flash Versi terbaru yang didukung: |
2690 | Token | 1 |
1 token teks input = 1 token 1 token gambar input = 1 token 1 token video input = 1 token 1 token audio input = 4 token 1 token teks respons output = 9 token 1 token teks alasan output = 9 token |
Gemini 2.0 Flash Versi terbaru yang didukung: |
3360 | Token | 1 |
1 token teks input = 1 token 1 token gambar input = 1 token 1 token video input = 1 token 1 token audio input = 7 token 1 token teks output = 4 token |
Gemini 2.0 Flash-Lite Versi terbaru yang didukung: |
6720 | Token | 1 |
1 token teks input = 1 token 1 token gambar input = 1 token 1 token video input = 1 token 1 token audio input = 1 token 1 token teks output = 4 token |
| Imagen 3 | 0,025 | Gambar | 1 | Hanya gambar output yang diperhitungkan dalam kuota Throughput yang Disediakan. |
| Imagen 3 Fast | 0,05 | Gambar | 1 | Hanya gambar output yang diperhitungkan dalam kuota Throughput yang Disediakan. |
| Imagen 2 | 0,05 | Gambar | 1 | Hanya gambar output yang diperhitungkan dalam kuota Throughput yang Disediakan. |
| Pengeditan Imagen 2 | 0,05 | Gambar | 1 | Hanya gambar output yang diperhitungkan dalam kuota Throughput yang Disediakan. |
| Medium MedLM | 2.000 | Karakter | 1 | 1 karakter input = 1 karakter 1 karakter output = 2 karakter |
| MedLM besar | 200 | Karakter | 1 | 1 karakter input = 1 karakter 1 karakter output = 3 karakter |
| MedLM besar 1.5 | 200 | Karakter | 1 | 1 karakter input = 1 karakter 1 karakter output = 3 karakter |
Anda dapat mengupgrade ke model baru saat tersedia. Untuk mengetahui informasi tentang ketersediaan model dan tanggal penghentian, lihat Model Google.
Untuk mengetahui informasi selengkapnya tentang lokasi yang didukung, lihat Lokasi yang tersedia.
Dukungan model endpoint global
Throughput yang Disediakan mendukung endpoint global untuk model berikut:
| Model | Versi model terbaru yang didukung |
|---|---|
| Gemini 2.5 Flash-Lite (pratinjau) | gemini-2.5-flash-lite-preview-06-17 |
| Gemini 2.5 Pro | gemini-2.5-pro |
| Gemini 2.5 Flash | gemini-2.5-flash |
| Gemini 2.0 Flash | gemini-2.0-flash-001 |
| Gemini 2.0 Flash-Lite | gemini-2.0-flash-lite-001 |
Traffic yang melebihi kuota Throughput yang Disediakan menggunakan endpoint global secara default.
Untuk menetapkan Throughput yang Disediakan ke endpoint global model,
pilih global sebagai region saat Anda melakukan pemesanan Throughput yang Disediakan.
Dukungan model yang di-fine-tune secara diawasi
Berikut ini didukung untuk model Google yang mendukung penyesuaian terawasi:
Throughput yang Disediakan dapat diterapkan ke model dasar dan versi yang disesuaikan dengan penyempurnaan yang diawasi dari model dasar tersebut.
Endpoint model yang disesuaikan secara terawasi dan jumlah model dasarnya yang sesuai dihitung dalam kuota Throughput yang Disediakan yang sama.
Misalnya, Throughput yang Disediakan yang dibeli untuk
gemini-2.0-flash-lite-001untuk project tertentu membuat permintaan yang dibuat dari versigemini-2.0-flash-lite-001yang di-fine-tune secara diawasi yang dibuat dalam project tersebut menjadi prioritas. Gunakan header yang sesuai untuk mengontrol perilaku traffic.
Model partner
Tabel berikut menunjukkan throughput, kenaikan pembelian, dan rasio penurunan untuk model partner yang mendukung Throughput yang Disediakan. Model Claude diukur dalam token per detik, yang ditentukan sebagai total token input dan output di semua permintaan per detik.
| Model | Throughput per GSU (token/dtk) | Pembelian GSU minimum | Peningkatan pembelian GSU | Rasio penyelesaian |
|---|---|---|---|---|
| Claude Opus 4 dari Anthropic | 70 | 35 | 1 | 1 token input = 1 token 1 token output = 5 token 1 token penulisan cache = 1,25 token 1 token hit cache = 0,1 token |
| Claude Sonnet 4 dari Anthropic | 350 | 25 | 1 | 1 token input = 1 token 1 token output = 5 token 1 token penulisan cache = 1,25 token 1 token hit cache = 0,1 token |
| Claude 3.7 Sonnet dari Anthropic | 350 | 25 | 1 | 1 token input = 1 token 1 token output = 5 token 1 token penulisan cache = 1,25 token 1 token hit cache = 0,1 token |
| Claude 3.5 Sonnet v2 dari Anthropic | 350 | 25 | 1 | 1 token input = 1 token 1 token output = 5 token 1 token penulisan cache = 1,25 token 1 token hit cache = 0,1 token |
| Claude 3.5 Haiku dari Anthropic | 2.000 | 10 | 1 | 1 token input = 1 token 1 token output = 5 token 1 token penulisan cache = 1,25 token 1 token hit cache = 0,1 token |
| Claude 3 Opus dari Anthropic | 70 | 35 | 1 | 1 token input = 1 token 1 token output = 5 token 1 token penulisan cache = 1,25 token 1 token hit cache = 0,1 token |
| Claude 3 Haiku dari Anthropic | 4.200 | 5 | 1 | 1 token input = 1 token 1 token output = 5 token 1 token penulisan cache = 1,25 token 1 token hit cache = 0,1 token |
| Claude 3.5 Sonnet dari Anthropic | 350 | 25 | 1 | 1 token input = 1 token 1 token output = 5 token 1 token penulisan cache = 1,25 token 1 token hit cache = 0,1 token |
Untuk mengetahui informasi tentang lokasi yang didukung, lihat Ketersediaan region Anthropic Claude. Untuk memesan Throughput yang Disediakan untuk model Anthropic, hubungi Google Cloud perwakilan akun Anda.