Pengoptimal Model Vertex AI

Vertex AI Model Optimizer adalah endpoint dinamis yang dirancang untuk menyederhanakan pemilihan model dengan menerapkan model Gemini secara otomatis yang paling memenuhi kebutuhan Anda. Hal ini memungkinkan Anda mengarahkan perintah ke satu meta-endpoint dan layanan ini akan memilih model Gemini yang paling sesuai untuk kueri Anda (Pro, Flash, dll.) secara cerdas berdasarkan preferensi biaya dan kualitas Anda.

Untuk mengetahui informasi selengkapnya tentang harga Model Optimizer, lihat Harga.

Manfaat

Dengan Model Optimizer, Anda dapat:

  • Sederhanakan pemilihan model Anda, bukan memilih model untuk setiap aplikasi
  • Mengoptimalkan biaya, kualitas, atau keduanya, sehingga Anda dapat menyeimbangkan performa dan anggaran
  • Berintegrasi dengan lancar dengan Gemini API dan SDK yang ada
  • Melacak penggunaan dan mengidentifikasi potensi penghematan biaya
  • Menangani tugas berbasis teks secara efisien tanpa memerlukan pemilihan endpoint manual

Model yang didukung

  • Gemini 2.0 Flash (GA)
  • Gemini 2.5 Pro (pratinjau, 25-03)

Dukungan bahasa

Pengoptimal Model mendukung semua bahasa yang juga didukung oleh model Gemini. (Lihat Dukungan bahasa Gemini)

Pengandaian

Model Optimizer mendukung kasus penggunaan teks, termasuk:

  • Coding, termasuk panggilan fungsi dan eksekusi kode
  • Ringkasan
  • Chat satu dan multi-giliran
  • Pertanyaan dan jawaban

Untuk mengetahui batasan dan cara menanganinya, lihat Menangani fitur yang tidak didukung.

Memulai

Untuk mulai menggunakan Model Optimizer, lihat notebook Colab panduan memulai kami.

Menggunakan Vertex AI Model Optimizer

Gen AI SDK for Python

Instal

pip install --upgrade google-genai

Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

Tetapkan variabel lingkungan untuk menggunakan Gen AI SDK dengan Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import (
    FeatureSelectionPreference,
    GenerateContentConfig,
    HttpOptions,
    ModelSelectionConfig
)

client = genai.Client(http_options=HttpOptions(api_version="v1beta1"))
response = client.models.generate_content(
    model="model-optimizer-exp-04-09",
    contents="How does AI work?",
    config=GenerateContentConfig(
        model_selection_config=ModelSelectionConfig(
            feature_selection_preference=FeatureSelectionPreference.BALANCED  # Options: PRIORITIZE_QUALITY, BALANCED, PRIORITIZE_COST
        ),
    ),
)
print(response.text)
# Example response:
# Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#
# Here's a simplified overview:
# ...

Menangani fitur yang tidak didukung

Pengoptimal Model hanya mendukung input dan output teks. Namun, permintaan dapat mencakup berbagai modalitas atau alat yang tidak didukung. Bagian berikut membahas cara Model Optimizer menangani fitur yang tidak didukung ini.

Permintaan multimodal

Permintaan yang menyertakan perintah dengan data multimodal, seperti video, gambar, atau audio, akan menampilkan error INVALID_ARGUMENT.

Alat yang tidak didukung

Model Optimizer hanya mendukung deklarasi fungsi untuk permintaan. Jika permintaan berisi jenis alat lain termasuk google_maps, google_search, enterprise_web_search, retrieval, atau browse, error INVALID_ARGUMENT akan ditampilkan.

Kirim masukan

Untuk mengirim masukan tentang pengalaman Anda dengan Model Optimizer, isi survei masukan kami.

Jika Anda memiliki pertanyaan, masalah teknis, atau masukan tentang Model Optimizer, hubungi model-optimizer-support@google.com.

Grup diskusi pelanggan

Untuk terhubung langsung dengan tim pengembangan, Anda dapat bergabung dengan Vertex AI Model Optimizer Listening Group, tempat Anda dapat mempelajari produk dan membantu kami memahami cara membuat fitur berfungsi lebih baik untuk Anda. Aktivitas grup mencakup:

  • Workshop virtual untuk mempelajari fitur lebih lanjut
  • Survei masukan untuk menyampaikan kebutuhan dan prioritas Anda
  • Sesi 1:1 dengan Google Cloud karyawan saat kami menjelajahi fitur baru

Aktivitas ditawarkan sekitar sekali dalam 6-8 minggu. Anda dapat berpartisipasi sebanyak atau sesedikit yang diinginkan, atau Anda dapat memilih untuk tidak ikut sama sekali kapan saja. Untuk bergabung ke grup, lengkapi formulir pendaftaran grup diskusi Vertex AI Model Optimizer.