Deployment dan endpoint

Perhatikan bahwa endpoint model tidak menjamin ketersediaan region atau pemrosesan ML dalam region. Untuk mengetahui informasi tentang residensi data, lihat Residensi data.

Endpoint global

Memilih endpoint global untuk permintaan Anda dapat meningkatkan ketersediaan secara keseluruhan sekaligus mengurangi error resource habis (429). Jangan gunakan endpoint global jika Anda memiliki persyaratan pemrosesan ML, karena Anda tidak dapat mengontrol atau mengetahui region tempat permintaan pemrosesan ML Anda dikirim saat permintaan dibuat.

Model yang didukung

Penggunaan endpoint global didukung untuk model Google berikut:

• Gemini 2.5 Flash-Lite
• Gemini 2.5 Pro
• Gemini 2.5 Flash
• Gemini 2.0 Flash
• Gemini 2.0 Flash-Lite

Untuk mengetahui informasi selengkapnya tentang model partner, lihat lokasi endpoint model partnerGoogle Cloud

Menggunakan endpoint global

Untuk menggunakan endpoint global, kecualikan lokasi dari nama endpoint dan konfigurasi lokasi resource ke global. Misalnya, berikut adalah URL endpoint global:

https://aiplatform.googleapis.com/v1/projects/test-project/locations/global/publishers/google/models/gemini-2.0-flash-001:generateContent

Untuk Google Gen AI SDK, buat klien yang menggunakan lokasi global:

client = genai.Client(
    vertexai=True, project='PROJECT_ID', location='global'
)

Untuk Vertex AI SDK untuk Python, lakukan inisialisasi SDK menggunakan lokasi global:

import vertexai
from vertexai.generative_models import GenerativeModel

vertexai.init(project='PROJECT_ID', location='global')

Batasan

Kemampuan berikut tidak tersedia saat menggunakan endpoint global:

• Penyesuaian
• Prediksi batch
• Context caching
• Korpus retrieval-augmented generation (RAG) (permintaan RAG didukung)

Penggunaan endpoint global dengan Throughput yang Disediakan hanya tersedia untuk model berikut:

Lokasi endpoint model Google

Endpoint model Google untuk AI Generatif di Vertex AI tersedia di wilayah berikut.

Google Cloud lokasi endpoint model partner

Google melayani permintaan dari region yang Anda tentukan. Untuk beberapa model, Google juga menawarkan endpoint global (Pratinjau) untuk meningkatkan ketersediaan secara keseluruhan dan mengurangi rasio error. Endpoint global dapat memiliki serangkaian kuota terpisah dari endpoint regional dan tidak mendukung persyaratan residensi data. Untuk mengetahui informasi selengkapnya, lihat bagian "Endpoint regional dan global" di Model partner Vertex AI untuk MaaS.

Endpoint model partner untuk AI Generatif di Vertex AI tersedia di wilayah berikut:

Langkah berikutnya

• Untuk tutorial notebook yang menunjukkan endpoint global, lihat Pengantar endpoint global Vertex AI.
• Pelajari lebih lanjut lokasi penyimpanan data AI Generatif di Vertex AI.
• Pelajari Google Cloud region.
• Pelajari lebih lanjut kontrol keamanan menurut fitur.
• Pelajari model yang memberikan dukungan AI Generatif di Vertex AI. Lihat Referensi model dasar AI generatif.
• Pelajari lokasi Vertex AI.