Fine-tuning yang diawasi adalah opsi yang baik jika Anda memiliki tugas yang terperinci dengan data berlabel yang tersedia. SFT sangat efektif untuk aplikasi khusus domain yang bahasa atau kontennya sangat berbeda dengan data yang sebelumnya dilatih di model besar. Anda dapat menyesuaikan jenis data teks, gambar, audio, dan dokumen.
Fine-tuning yang diawasi mengadaptasi perilaku model dengan set data berlabel. Proses ini menyesuaikan bobot model untuk meminimalkan perbedaan antara prediksi dan label sebenarnya. Misalnya, metode ini dapat meningkatkan performa model untuk jenis tugas berikut:
- Klasifikasi
- Ringkasan
- Question answering ekstraktif
- Chat
Untuk mengetahui pembahasan tentang kasus penggunaan penyesuaian teratas, lihat postingan blog Ratusan organisasi menyesuaikan model Gemini. Berikut kasus penggunaan favorit mereka.
Untuk mempelajari lebih lanjut, lihat Kapan harus menggunakan penyesuaian terawasi untuk Gemini.
Model yang didukung
Model Gemini berikut mendukung penyesuaian yang diawasi:
Batasan
Gemini 2.5 Flash
Spesifikasi | Nilai |
---|---|
Token pelatihan input dan output maksimum | 131.072 |
Token input dan output maksimum untuk penayangan | Sama seperti model Gemini dasar |
Ukuran maksimum set data validasi | 5.000 contoh |
Ukuran file set data pelatihan maksimum | 1 GB untuk JSONL |
Ukuran set data pelatihan maksimum | 1 juta contoh hanya teks atau 300 ribu contoh multimodal |
Ukuran adaptor | Nilai yang didukung adalah 1, 2, 4, 8, dan 16. |
Gemini 2.0 Flash Gemini 2.0 Flash-Lite
Spesifikasi | Nilai |
---|---|
Token pelatihan input dan output maksimum | 131.072 |
Token input dan output maksimum untuk penayangan | Sama seperti model Gemini dasar |
Ukuran maksimum set data validasi | 5.000 contoh |
Ukuran file set data pelatihan maksimum | 1 GB untuk JSONL |
Ukuran set data pelatihan maksimum | 1 juta contoh hanya teks atau 300 ribu contoh multimodal |
Ukuran adaptor | Nilai yang didukung adalah 1, 2, 4, dan 8. |
Masalah umum
- Model Gemini yang disetel tidak dapat dihapus dari Vertex AI Model Registry. Namun, selama tidak ada aktivitas, model tidak akan menimbulkan biaya inferensi.
- Menerapkan pembuatan terkontrol saat mengirimkan permintaan inferensi ke model Gemini yang di-tuning dapat mengakibatkan penurunan kualitas model karena ketidakselarasan data selama waktu inferensi dan penyesuaian. Selama penyesuaian, pembuatan terkontrol tidak diterapkan, sehingga model yang disesuaikan tidak dapat menangani pembuatan terkontrol dengan baik pada waktu inferensi. Fine-tuning yang diawasi secara efektif menyesuaikan model untuk menghasilkan output terstruktur. Oleh karena itu, Anda tidak perlu menerapkan pembuatan terkontrol saat membuat permintaan inferensi pada model yang di-tune.
Kasus penggunaan untuk menggunakan fine-tuning yang diawasi
Model dasar berfungsi dengan baik jika output atau tugas yang diharapkan dapat ditentukan dengan jelas dan ringkas dalam perintah, dan perintah secara konsisten menghasilkan output yang diharapkan. Jika Anda ingin model mempelajari sesuatu yang khusus atau spesifik yang menyimpang dari pola umum, sebaiknya pertimbangkan untuk menyesuaikan model tersebut. Misalnya, Anda dapat menggunakan penyesuaian model untuk mengajarkan model hal berikut ini:
- Struktur atau format spesifik untuk menghasilkan output.
- Perilaku spesifik seperti kapan harus memberikan output yang singkat atau panjang.
- Output yang disesuaikan dan spesifik untuk jenis input tertentu.
Contoh berikut adalah kasus penggunaan yang sulit direkam hanya dengan petunjuk perintah:
Klasifikasi: Respons yang diharapkan adalah kata atau frasa tertentu.
Menyesuaikan model dapat membantu mencegah model menghasilkan respons panjang.
Ringkasan: Ringkasan mengikuti format tertentu. Misalnya, Anda mungkin perlu menghapus informasi identitas pribadi (PII) dalam ringkasan chat.
(text-bison@001@27 April 2023)
Pemformatan berupa penggantian nama pembicara dengan
#Person1
dan#Person2
sulit dijelaskan dan model dasar mungkin tidak secara alami menghasilkan respons tersebut.Question answering ekstraksi: Pertanyaannya tentang konteks dan jawabannya adalah substring konteks tersebut
Respons "Glasial Maksimum Terakhir" adalah frasa spesifik dari konteks.
Chat: Anda perlu menyesuaikan respons model untuk mengikuti persona, peran, atau karakter.
Anda juga dapat menyesuaikan model dalam situasi berikut:
- Perintah tidak memberikan hasil yang diharapkan secara konsisten.
- Tugas terlalu rumit untuk ditentukan dalam perintah. Misalnya, Anda ingin model melakukan clone perilaku untuk perilaku yang sulit diuraikan dalam perintah.
- Anda memiliki intuisi kompleks tentang tugas yang sulit diformalkan dalam sebuah perintah.
- Anda ingin mengurangi panjang konteks dengan menghapus contoh few-shot.
Mengonfigurasi region tugas penyesuaian
Data pengguna, seperti set data yang diubah dan model yang di-tuning, disimpan di region tugas tuning. Selama penyesuaian, komputasi dapat di-offload ke region US
atau EU
lain untuk akselerator yang tersedia. Penurunan beban bersifat transparan bagi pengguna.
Jika menggunakan Vertex AI SDK, Anda dapat menentukan region saat inisialisasi. Contoh:
import vertexai vertexai.init(project='myproject', location='us-central1')
Jika Anda membuat tugas penyesuaian terawasi dengan mengirim permintaan POST menggunakan metode
tuningJobs.create
, Anda akan menggunakan URL untuk menentukan region tempat tugas penyesuaian dijalankan. Misalnya, di URL berikut, Anda menentukan region dengan mengganti kedua instanceTUNING_JOB_REGION
dengan region tempat tugas berjalan.https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs
Jika menggunakan konsolGoogle Cloud , Anda dapat memilih nama region di kolom drop-down Region di halaman Model details. Ini adalah halaman yang sama tempat Anda memilih model dasar dan nama model yang disesuaikan.
Kuota
Kuota diterapkan pada jumlah tugas penyetelan serentak. Setiap project dilengkapi dengan kuota default untuk menjalankan setidaknya satu tugas penyesuaian. Ini adalah kuota global,
yang dibagikan di semua region yang tersedia dan model yang didukung. Jika ingin menjalankan lebih banyak tugas secara bersamaan, Anda harus meminta kuota tambahan untuk Global concurrent tuning jobs
.
Harga
Harga untuk penyesuaian terawasi Gemini dapat ditemukan di sini: Harga Vertex AI.
Jumlah token pelatihan dihitung dengan mengalikan jumlah token dalam set data pelatihan Anda dengan jumlah epoch. Setelah penyesuaian, biaya inferensi (permintaan prediksi) untuk model yang disesuaikan tetap berlaku. Harga inferensi sama untuk setiap versi stabil Gemini. Untuk mengetahui informasi selengkapnya, lihat Versi model stabil Gemini yang tersedia.
Langkah berikutnya
- Siapkan set data fine-tuning yang diawasi.
- Pelajari cara men-deploy model Gemini yang disesuaikan.