Memigrasikan aplikasi Anda ke Gemini 2 dengan Gemini API di Vertex AI

Untuk migrasi Gemini 2 yang lancar, sebaiknya Anda mengatasi masalah berikut sebelum memulai proses migrasi.

• Ketersediaan model: Perhatikan linimasa ketersediaan dan dukungan versi model untuk model Gemini lama, dan pastikan migrasi Anda selesai sebelum model yang Anda gunakan dihentikan.
• InfoSec, tata kelola, dan persetujuan peraturan: Minta persetujuan yang Anda perlukan untuk Gemini 2 secara proaktif dari pemangku kepentingan keamanan informasi (InfoSec), risiko, dan kepatuhan. Pastikan Anda mencakup batasan kepatuhan dan risiko khusus domain, terutama di industri yang diatur dengan ketat seperti layanan kesehatan dan jasa keuangan. Perhatikan bahwa kontrol keamanan Gemini berbeda di antara model Gemini 2.
• Ketersediaan lokasi: Lihat dokumentasi Ketersediaan model AI Generatif di model Google Cloud dan model partner, dan pastikan model Gemini 2 yang Anda pilih tersedia di region tempat Anda membutuhkannya, atau pertimbangkan untuk beralih ke endpoint global.
• Perbedaan harga berdasarkan modalitas dan tokenisasi: Periksa harga Gemini 2 untuk semua modalitas (teks, kode, gambar, ucapan) di aplikasi Anda. Untuk mengetahui informasi selengkapnya, lihat halaman harga AI generatif. Perhatikan bahwa input dan output teks Gemini 2 diberi harga per token, sedangkan input dan output teks Gemini 1 diberi harga per karakter.
• Throughput yang Disediakan: Jika diperlukan, beli Throughput yang Disediakan tambahan untuk Gemini 2 atau ubah pesanan Throughput yang Disediakan yang ada.
• Penyesuaian yang diawasi: Jika aplikasi Gemini Anda menggunakan penyesuaian yang diawasi, kirim tugas penyesuaian baru dengan Gemini 2. Sebaiknya mulai dengan hyperparameter penyesuaian default, bukan menggunakan kembali nilai hyperparameter yang Anda gunakan dengan versi Gemini sebelumnya. Layanan penyesuaian telah dioptimalkan untuk Gemini 2. Oleh karena itu, menggunakan kembali nilai hyperparameter sebelumnya mungkin tidak memberikan hasil terbaik.
• Pengujian regresi: Ada tiga jenis utama pengujian regresi yang terlibat saat mengupgrade ke model Gemini 2:
  • Pengujian regresi kode: Pengujian regresi dari perspektif DevOps dan software engineering. Jenis pengujian regresi ini selalu diperlukan.
  • Pengujian regresi performa model: Pengujian regresi dari perspektif data science atau machine learning. Hal ini berarti memastikan bahwa model Gemini 2 baru memberikan output yang setidaknya sama berkualitasnya dengan output dari model produksi saat ini. Pengujian regresi performa model hanyalah evaluasi model yang dilakukan sebagai bagian dari perubahan pada sistem atau model yang mendasarinya. Pengujian regresi performa model selanjutnya dibagi menjadi:
    • Pengujian performa model offline: Menilai kualitas output model di lingkungan eksperimen khusus berdasarkan berbagai metrik kualitas output model.
    • Pengujian performa model online: Menilai kualitas output model dalam deployment online langsung berdasarkan masukan pengguna implisit atau eksplisit.
  • Pengujian beban: Menilai cara aplikasi menangani volume permintaan inferensi yang tinggi. Jenis pengujian regresi ini diperlukan untuk aplikasi yang memerlukan Provisioned Throughput.

1. Bersiaplah untuk mengulangi evaluasi yang relevan sejak Anda awalnya mem-build aplikasi, beserta evaluasi relevan yang telah Anda lakukan sejak saat itu.
2. Jika merasa evaluasi yang ada tidak mencakup atau mengukur cakupan tugas yang dilakukan aplikasi dengan tepat, Anda harus mendesain dan menyiapkan evaluasi tambahan.
3. Jika aplikasi Anda melibatkan RAG, penggunaan alat, alur kerja agen yang kompleks, atau rantai perintah, pastikan data evaluasi yang ada memungkinkan Anda menilai setiap komponen secara independen. Jika tidak, kumpulkan contoh input-output untuk setiap komponen.
4. Jika aplikasi Anda memiliki dampak yang sangat tinggi, atau jika merupakan bagian dari sistem real-time yang lebih besar yang ditampilkan kepada pengguna, Anda harus menyertakan evaluasi online.

Jika aplikasi Gemini 1.x Anda menggunakan Vertex AI SDK, pertimbangkan untuk mengupgrade ke Gen AI SDK. Kemampuan Gemini 2 baru hanya tersedia di Gen AI SDK. Namun, Anda tidak perlu beralih ke Gen AI SDK jika aplikasi Anda hanya memerlukan kemampuan yang tersedia di Vertex AI SDK.

Jika Anda baru menggunakan Gen AI SDK, lihat notebook Memulai AI Generatif Google menggunakan Gen AI SDK.

pip install --upgrade google-genai

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import HttpOptions

client = genai.Client(http_options=HttpOptions(api_version="v1"))
response = client.models.generate_content(
model="gemini-2.5-flash",
contents="How does AI work?",
)
print(response.text)

# Example response:
# Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
# Here's a simplified overview:
# ...

 pip install --upgrade --quiet google-cloud-aiplatform 

 
import vertexai
from vertexai.generative_models import GenerativeModel

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"
vertexai.init(project=PROJECT_ID, location="us-central1")

model = GenerativeModel("gemini-2.0-flash-001")

response = model.generate_content(
    "What's a good name for a flower shop that specializes in selling bouquets of dried flowers?"
)

print(response.text)
# Example response:
# **Emphasizing the Dried Aspect:**
# * Everlasting Blooms
# * Dried & Delightful
# * The Petal Preserve
# ...

Mengubah panggilan Gemini Anda

Ubah kode prediksi Anda untuk menggunakan Gemini 2. Setidaknya, ini berarti mengubah nama endpoint model tertentu menjadi model Gemini 2 tempat Anda memuat model.

Perubahan kode yang sebenarnya akan berbeda, bergantung pada cara Anda menerapkan aplikasi pada awalnya, dan terutama apakah Anda menggunakan Gen AI SDK atau Vertex AI SDK.

Setelah Anda melakukan perubahan kode, lakukan pengujian regresi kode dan pengujian software lainnya pada kode Anda untuk memastikannya berjalan. Pengujian ini hanya dimaksudkan untuk menilai apakah kode berfungsi dengan benar. Laporan ini tidak dimaksudkan untuk menilai kualitas respons model.

Mengatasi perubahan kode yang menyebabkan gangguan

• Pengambilan dinamis: Beralihlah untuk menggunakan Pemahaman dengan Google Penelusuran. Fitur ini memerlukan penggunaan Gen AI SDK; fitur ini tidak didukung oleh Vertex AI SDK.
• Filter konten: Perhatikan setelan filter konten default, dan ubah kode Anda jika kode tersebut bergantung pada setelan default yang telah berubah.
• Parameter sampling token Top-K: Model setelah gemini-1.0-pro-vision tidak mendukung perubahan parameter Top-K.

Hanya berfokuslah pada perubahan kode dalam langkah ini. Anda mungkin perlu melakukan perubahan lain, tetapi tunggu hingga Anda memulai evaluasi, lalu pertimbangkan penyesuaian berikut berdasarkan hasil evaluasi:

• Jika beralih dari pengambilan dinamis, Anda mungkin perlu bereksperimen dengan petunjuk sistem untuk mengontrol kapan Google Penelusuran digunakan (misalnya, "Only generate queries for the Google Search tool if the user asks about sports. Don't generate queries for any other topic."), tetapi tunggu hingga Anda mengevaluasi sebelum membuat perubahan perintah.
• Jika Anda menggunakan parameter Top-K, sesuaikan parameter sampling token lainnya, seperti Top-P, untuk mendapatkan hasil yang serupa.

Ulangi evaluasi yang Anda lakukan saat pertama kali mengembangkan dan meluncurkan aplikasi, evaluasi offline lebih lanjut yang Anda lakukan setelah peluncuran, dan evaluasi tambahan yang Anda identifikasi di langkah 1. Jika Anda merasa bahwa evaluasi Anda tidak sepenuhnya menangkap cakupan dan kedalaman aplikasi Anda, lakukan evaluasi lebih lanjut.

Jika Anda tidak memiliki cara otomatis untuk menjalankan evaluasi offline, pertimbangkan untuk menggunakan layanan evaluasi AI generatif.

Jika aplikasi Anda menggunakan penyesuaian halus, lakukan evaluasi offline sebelum menyesuaikan ulang model dengan Gemini 2. Kualitas output Gemini 2 yang ditingkatkan mungkin berarti bahwa aplikasi Anda tidak lagi memerlukan model yang disesuaikan.

Jika evaluasi offline Anda menunjukkan penurunan performa dengan Gemini 2, lakukan iterasi pada aplikasi Anda sebagai berikut hingga performa Gemini cocok dengan model lama:

• Buat rekayasa perintah secara berulang untuk meningkatkan performa ("Hill Climbing"). Jika Anda baru mengenal hill climbing, lihat pelatihan online hill climbing Vertex Gemini. Pengoptimal perintah Vertex AI (contoh notebook) juga dapat membantu.
• Jika aplikasi Anda sudah mengandalkan penyesuaian, coba sesuaikan Gemini 2.
• Jika aplikasi Anda terpengaruh oleh perubahan yang menyebabkan gangguan pada Pengambilan Dinamis dan Top-K, bereksperimenlah dengan mengubah parameter pengambilan perintah dan sampling token.

Jika aplikasi Anda memerlukan throughput minimum tertentu, lakukan pengujian beban untuk memastikan aplikasi versi Gemini 2 memenuhi persyaratan throughput Anda.

Pengujian beban harus dilakukan sebelum evaluasi online, karena evaluasi online memerlukan eksposur Gemini 2 ke traffic produksi. Gunakan instrumentasi pengujian beban yang ada untuk melakukan langkah ini.

Jika aplikasi Anda sudah memenuhi persyaratan throughput, pertimbangkan untuk menggunakan Provisioned Throughput. Anda memerlukan Provisioned Throughput jangka pendek tambahan untuk menampung pengujian beban saat pesanan Provisioned Throughput yang ada terus menyalurkan traffic produksi.

Hanya lanjutkan ke evaluasi online jika evaluasi offline Anda menunjukkan kualitas output Gemini yang memadai dan aplikasi Anda memerlukan evaluasi online.

Evaluasi online adalah kasus khusus dari pengujian online. Coba gunakan alat dan prosedur yang ada di organisasi Anda untuk evaluasi online. Contoh:

• Jika organisasi Anda secara rutin melakukan pengujian A/B, lakukan pengujian A/B yang mengevaluasi penerapan aplikasi Anda saat ini dibandingkan dengan versi Gemini 2.
• Jika organisasi Anda secara rutin melakukan penerapan canary, pastikan untuk melakukannya dengan Gemini 2 dan mengukur perbedaan perilaku pengguna.

Evaluasi online juga dapat dilakukan dengan membuat kemampuan pengukuran dan masukan baru ke dalam aplikasi Anda. Kemampuan pengukuran dan masukan yang berbeda sesuai untuk aplikasi yang berbeda. Contoh:

• Menambahkan tombol suka dan tidak suka di samping output model dan membandingkan rasio suka versus tidak suka antara model lama dan Gemini 2.
• Menampilkan output model lama dan Gemini 2 secara berdampingan kepada pengguna dan meminta pengguna untuk memilih favorit mereka.
• Melacak seberapa sering pengguna mengganti atau menyesuaikan output model lama secara manual dibandingkan dengan Gemini 2.

Jenis mekanisme masukan ini sering kali memerlukan pengoperasian aplikasi versi Gemini 2 secara paralel dengan versi yang ada. Deployment paralel ini terkadang disebut "mode bayangan" atau "deployment blue-green".

Jika hasil evaluasi online berbeda secara signifikan dengan hasil evaluasi offline, evaluasi offline Anda tidak menangkap aspek utama dari lingkungan aktif atau pengalaman pengguna. Gunakan temuan evaluasi online untuk menyusun evaluasi offline baru guna menutup kesenjangan yang terungkap dalam evaluasi online, lalu kembali ke langkah 3.

Jika menggunakan Provisioned Throughput, Anda mungkin perlu membeli Provisioned Throughput jangka pendek tambahan untuk terus memenuhi persyaratan throughput bagi pengguna yang tunduk pada evaluasi online.

Setelah evaluasi menunjukkan bahwa Gemini 2 memenuhi atau melebihi performa model lama, nonaktifkan versi aplikasi yang ada dan gunakan versi Gemini 2. Ikuti prosedur yang ada di organisasi Anda untuk peluncuran produksi.

Jika Anda menggunakan Provisioned Throughput, ubah pesanan Provisioned Throughput ke model Gemini 2 yang Anda pilih. Jika Anda meluncurkan aplikasi secara bertahap, gunakan Provisioned Throughput jangka pendek untuk memenuhi persyaratan throughput untuk dua model Gemini yang berbeda.