Vertex AI Model Optimizer

Panduan ini menunjukkan cara menggunakan Vertex AI Model Optimizer, endpoint dinamis yang menyederhanakan pemilihan model dengan otomatis memilih model Gemini terbaik untuk kebutuhan Anda. Dokumen ini membahas topik berikut:

Untuk mengetahui informasi selengkapnya tentang harga Model Optimizer, lihat Harga.

Manfaat

Pengoptimal Model memungkinkan Anda:

  • Menyederhanakan pemilihan model: Menghilangkan kebutuhan untuk memilih model tertentu untuk setiap aplikasi.
  • Mengoptimalkan biaya dan kualitas: Memungkinkan Anda menyeimbangkan performa dan anggaran sesuai preferensi Anda.
  • Integrasi yang lancar: Kompatibel dengan Gemini API dan SDK yang ada.
  • Melacak penggunaan: Membantu Anda memantau penggunaan dan mengidentifikasi potensi penghematan biaya.
  • Menangani tugas berbasis teks secara efisien: Menangani tugas berbasis teks tanpa memerlukan pemilihan endpoint manual.

Model yang didukung

Pengoptimal Model mengarahkan permintaan ke model berikut:

  • Gemini 2.0 Flash (GA)
  • Gemini 2.5 Pro (Pratinjau)

Dukungan bahasa

Pengoptimal Model mendukung semua bahasa yang juga didukung oleh model Gemini. (Lihat Dukungan bahasa Gemini)

Kasus penggunaan yang didukung

Pengoptimal Model mendukung kasus penggunaan khusus teks, termasuk:

  • Coding, termasuk panggilan fungsi dan eksekusi kode
  • Ringkasan
  • Percakapan satu dan multi-giliran
  • Tanya jawab

Untuk mengetahui batasan dan cara menanganinya, lihat Menangani fitur yang tidak didukung.

Memulai

Untuk mulai menggunakan Model Optimizer, lihat notebook Colab panduan memulai kami.

Menggunakan Pengoptimal Model Vertex AI

Python

Instal

pip install --upgrade google-genai

Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

Tetapkan variabel lingkungan untuk menggunakan Gen AI SDK dengan Vertex AI: 

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
 

#     from google import genai
#     from google.genai.types import (
#         FeatureSelectionPreference,
#         GenerateContentConfig,
#         HttpOptions,
#         ModelSelectionConfig
#     )
#
#     client = genai.Client(http_options=HttpOptions(api_version="v1beta1"))
#     response = client.models.generate_content(
#         model="model-optimizer-exp-04-09",
#         contents="How does AI work?",
#         config=GenerateContentConfig(
#             model_selection_config=ModelSelectionConfig(
#                 feature_selection_preference=FeatureSelectionPreference.BALANCED  # Options: PRIORITIZE_QUALITY, BALANCED, PRIORITIZE_COST
#             ),
#         ),
#     )
#     print(response.text)
#     # Example response:
#     # Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#     #
#     # Here's a simplified overview:
#     # ...

Menangani fitur yang tidak didukung

Pengoptimal Model hanya mendukung input dan output teks. Namun, permintaan dapat mencakup modalitas atau alat yang berbeda yang tidak didukung. Bagian berikut membahas cara Model Optimizer menangani fitur yang tidak didukung ini.

Permintaan multimodal

Permintaan yang menyertakan perintah dengan data multimodal, seperti video, gambar, atau audio, akan memunculkan error INVALID_ARGUMENT.

Alat yang tidak didukung

Pengoptimal Model hanya mendukung deklarasi fungsi untuk permintaan. Jika permintaan berisi jenis alat lain termasuk google_maps, google_search, enterprise_web_search, retrieval, atau browse, error INVALID_ARGUMENT akan ditampilkan.

Kirim masukan

Untuk mengirim masukan tentang pengalaman Anda menggunakan Model Optimizer, isi survei masukan kami.

Jika ada pertanyaan, masalah teknis, atau masukan tentang Model Optimizer, hubungi model-optimizer-support@google.com.

Grup diskusi pelanggan

Untuk terhubung langsung dengan tim pengembangan, Anda dapat bergabung dengan Grup Diskusi Pengoptimal Model Vertex AI, tempat Anda dapat mempelajari produk dan membantu kami memahami cara membuat fitur berfungsi lebih baik untuk Anda. Aktivitas grup ini meliputi:

  • Workshop virtual untuk mempelajari fitur lebih lanjut.
  • Survei masukan untuk menyampaikan kebutuhan dan prioritas Anda.
  • Sesi 1:1 dengan karyawan Google Cloud saat kami mempelajari fitur baru.

Aktivitas ditawarkan sekitar sekali setiap 6-8 minggu. Anda dapat berpartisipasi sebanyak yang Anda inginkan, atau Anda dapat memilih untuk tidak berpartisipasi sama sekali kapan saja. Untuk bergabung dengan grup, lengkapi formulir pendaftaran grup diskusi Vertex AI Model Optimizer.