Mulai 29 April 2025, model Gemini 1.5 Pro dan Gemini 1.5 Flash tidak tersedia di project yang belum pernah menggunakan model ini, termasuk project baru. Untuk mengetahui detailnya, lihat Versi dan siklus proses model.

Halaman ini diterjemahkan oleh Cloud Translation API.

Model partner Vertex AI untuk MaaS

Vertex AI mendukung daftar model pilihan yang dikembangkan oleh partner Google. Model partner dapat digunakan dengan Vertex AI sebagai model sebagai layanan (MaaS) dan ditawarkan sebagai API terkelola. Saat menggunakan model partner, Anda tetap mengirim permintaan ke endpoint Vertex AI. Model partner bersifat serverless sehingga tidak perlu menyediakan atau mengelola infrastruktur.

Model partner dapat ditemukan menggunakan Model Garden. Anda juga dapat men-deploy model menggunakan Model Garden. Untuk mengetahui informasi selengkapnya, lihat Menjelajahi model AI di Model Garden. Meskipun informasi tentang setiap model partner yang tersedia dapat ditemukan di kartu modelnya di Model Garden, hanya model pihak ketiga yang berfungsi sebagai MaaS dengan Vertex AI yang didokumentasikan dalam panduan ini.

Model Claude dan Mistral dari Anthropic adalah contoh model terkelola pihak ketiga yang tersedia untuk digunakan di Vertex AI.

Harga model partner Vertex AI dengan jaminan kapasitas

Google menawarkan throughput yang disediakan untuk beberapa model partner yang mencadangkan kapasitas throughput untuk model Anda dengan biaya tetap. Anda memutuskan kapasitas throughput dan region tempat kapasitas tersebut akan dipesan. Karena permintaan throughput yang disediakan diprioritaskan daripada permintaan standar bayar sesuai penggunaan, throughput yang disediakan memberikan ketersediaan yang lebih tinggi. Saat sistem kelebihan beban, permintaan Anda tetap dapat diselesaikan selama throughput tetap berada di bawah kapasitas throughput yang dicadangkan. Untuk mengetahui informasi selengkapnya atau berlangganan layanan, Hubungi bagian penjualan.

Endpoint regional dan global

Untuk endpoint regional, permintaan ditayangkan dari region yang Anda tentukan. Jika Anda memiliki persyaratan residensi data atau jika model tidak mendukung endpoint global, gunakan endpoint regional.

Saat Anda menggunakan endpoint global, Google dapat memproses dan menayangkan permintaan Anda dari region mana pun yang didukung oleh model yang Anda gunakan, yang mungkin menyebabkan latensi yang lebih tinggi dalam beberapa kasus. Endpoint global membantu meningkatkan ketersediaan secara keseluruhan dan membantu mengurangi error.

Tidak ada perbedaan harga dengan endpoint regional saat Anda menggunakan endpoint global. Namun, kuota endpoint global dan kemampuan model yang didukung dapat berbeda dengan endpoint regional. Untuk mengetahui informasi selengkapnya, lihat halaman model pihak ketiga terkait.

Menentukan endpoint global

Untuk menggunakan endpoint global, tetapkan region ke global.

Misalnya, URL permintaan untuk perintah curl menggunakan format berikut: https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/PUBLISHER_NAME/models/MODEL_NAME

Untuk Vertex AI SDK, endpoint regional adalah defaultnya. Tetapkan region ke GLOBAL untuk menggunakan endpoint global.

Model yang didukung

Endpoint global tersedia untuk model berikut:

Membatasi penggunaan endpoint API global

Untuk membantu menerapkan penggunaan endpoint regional, gunakan batasan kebijakan organisasi constraints/gcp.restrictEndpointUsage untuk memblokir permintaan ke endpoint API global. Untuk mengetahui informasi selengkapnya, lihat Membatasi penggunaan endpoint.

Memberikan akses pengguna ke model partner

Agar Anda dapat mengaktifkan model partner dan membuat permintaan perintah, administrator Google Cloud harus menetapkan izin yang diperlukan dan memverifikasi bahwa kebijakan organisasi mengizinkan penggunaan API yang diperlukan.

Menetapkan izin yang diperlukan untuk menggunakan model partner

Peran dan izin berikut diperlukan untuk menggunakan model partner:

Anda harus memiliki peran Identity and Access Management (IAM) Consumer Procurement Entitlement Manager. Siapa pun yang telah diberi peran ini dapat mengaktifkan model partner di Model Garden.
Anda harus memiliki izin aiplatform.endpoints.predict. Izin ini disertakan dalam peran IAM Vertex AI User. Untuk mengetahui informasi selengkapnya, lihat Pengguna Vertex AI dan Kontrol akses.

Konsol

Untuk memberikan peran IAM Consumer Procurement Entitlement Manager kepada pengguna, buka halaman IAM.

Buka IAM
Di kolom Principal, temukan akun utama pengguna yang ingin Anda aktifkan aksesnya ke model partner, lalu klik Edit akun utama di baris tersebut.
Di panel Edit akses, klik Tambahkan peran lain.
Di Select a role, pilih Consumer Procurement Entitlement Manager.
Di panel Edit akses, klik Tambahkan peran lain.
Di Pilih peran, pilih Pengguna Vertex AI.
Klik Simpan.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

Berikan peran Consumer Procurement Entitlement Manager yang diperlukan untuk mengaktifkan model partner di Model Garden

gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

Berikan peran Vertex AI User yang mencakup izin aiplatform.endpoints.predict yang diperlukan untuk membuat permintaan perintah:
```
gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user
```
Ganti PRINCIPAL dengan ID untuk prinsipal. ID menggunakan format user|group|serviceAccount:email atau domain:domain—misalnya, user:cloudysanfrancisco@gmail.com, group:admins@example.com, serviceAccount:test123@example.domain.com, atau domain:example.domain.com.

Outputnya adalah daftar binding kebijakan yang mencakup hal berikut:
```
-   members:
  -   user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager
```
Untuk mengetahui informasi selengkapnya, lihat Memberikan satu peran dan gcloud projects add-iam-policy-binding.

Menetapkan kebijakan organisasi untuk akses model partner

Untuk mengaktifkan model partner, kebijakan organisasi Anda harus mengizinkan API berikut: Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com

Jika organisasi Anda menetapkan kebijakan organisasi untuk membatasi penggunaan layanan, administrator organisasi harus memverifikasi bahwa cloudcommerceconsumerprocurement.googleapis.com diizinkan dengan menetapkan kebijakan organisasi.

Selain itu, jika Anda memiliki kebijakan organisasi yang membatasi penggunaan model di Model Garden, kebijakan tersebut harus mengizinkan akses ke model partner. Untuk mengetahui informasi selengkapnya, lihat Mengontrol akses model.

Kepatuhan terhadap peraturan model partner

Sertifikasi untuk AI Generatif di Vertex AI terus berlaku saat model partner digunakan sebagai API terkelola menggunakan Vertex AI. Jika Anda memerlukan detail tentang model itu sendiri, informasi tambahan dapat ditemukan di Kartu Model masing-masing, atau Anda dapat menghubungi penerbit model yang bersangkutan.

Data Anda disimpan dalam penyimpanan di dalam region atau multi-region yang dipilih untuk model partner di Vertex AI, tetapi regionalisasi pemrosesan data dapat bervariasi. Untuk mengetahui daftar mendetail komitmen pemrosesan data model partner, lihat Residensi data untuk model partner.

Perintah pelanggan dan respons model tidak dibagikan kepada pihak ketiga saat menggunakan Vertex AI API, termasuk model partner. Google hanya memproses Data Pelanggan sesuai dengan petunjuk Pelanggan, yang dijelaskan lebih lanjut dalam Adendum Pemrosesan Data Cloud kami.