Halaman ini menampilkan parameter pengambilan sampel opsional yang dapat Anda tetapkan dalam permintaan ke model. Parameter yang tersedia untuk setiap model mungkin berbeda. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi.
Parameter pengambilan sampel token
Top-P
Top-P mengubah cara model memilih token untuk output. Token dipilih
dari yang paling mungkin hingga yang paling tidak mungkin sampai jumlah probabilitasnya
sama dengan nilai top-P. Misalnya, jika token A, B, dan C memiliki probabilitas
0,3, 0,2, dan 0,1 dengan nilai top-P 0.5
, model akan
memilih A atau B sebagai token berikutnya dengan menggunakan suhu dan mengecualikan
C sebagai kandidat.
Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.
Untuk informasi selengkapnya, lihattopP
.
Temperatur
Suhu digunakan untuk pengambilan sampel selama pembuatan respons, yang terjadi saat topP
dan topK
diterapkan. Suhu mengontrol tingkat keacakan dalam pemilihan token.
Suhu yang lebih rendah cocok untuk perintah yang memerlukan respons yang kurang terbuka atau kreatif, sedangkan
suhu yang lebih tinggi dapat memberikan hasil yang lebih beragam atau kreatif. Suhu 0
berarti token probabilitas tertinggi selalu dipilih. Dalam hal ini, respons untuk permintaan
tertentu sebagian besar deterministik, tetapi sedikit variasi masih dapat dilakukan.
Jika model menampilkan respons yang terlalu umum, terlalu pendek, atau model memberikan respons pengganti, coba tingkatkan suhunya.
Temperatur yang lebih rendah menghasilkan hasil yang dapat diprediksi (tetapi tidak sepenuhnya deterministik).
Untuk mengetahui informasi selengkapnya, lihat temperature
.
Menghentikan parameter
Token output maksimum
Tetapkan maxOutputTokens
untuk membatasi jumlah token yang dibuat dalam respons. Token terdiri dari sekitar empat karakter, jadi 100 token setara dengan sekitar 60-80 kata. Tetapkan nilai rendah untuk membatasi panjang
respons.
Hentikan urutan
Tentukan string di stopSequences
untuk memberi tahu model agar berhenti
menghasilkan teks jika salah satu string ditemukan dalam respons. Jika string muncul beberapa kali dalam respons, respons akan dipotong di tempat string pertama kali ditemukan. String peka huruf besar/kecil.
Parameter penalti token
Penalti frekuensi
Nilai positif menghukum token yang berulang kali muncul dalam teks yang dihasilkan, sehingga mengurangi
kemungkinan pengulangan konten. Nilai minimum adalah -2.0
. Nilai maksimumnya adalah hingga, tetapi tidak termasuk, 2.0
.
Untuk mengetahui informasi selengkapnya, lihat frequencyPenalty
.
Sanksi kehadiran
Nilai positif menghukum token yang sudah muncul dalam teks yang dihasilkan, sehingga meningkatkan
probabilitas menghasilkan konten yang lebih beragam. Nilai minimum adalah -2.0
. Nilai
maksimumnya adalah hingga, tetapi tidak termasuk, 2.0
.
Untuk mengetahui informasi selengkapnya, lihat presencePenalty
.
Parameter lanjutan
Gunakan parameter ini untuk menampilkan informasi selengkapnya tentang token dalam respons atau untuk mengontrol variabilitas respons.
Probabilitas log token output
Menampilkan probabilitas log token kandidat teratas di setiap langkah pembuatan. Token yang dipilih model
mungkin tidak sama dengan token kandidat teratas di setiap langkah. Tentukan jumlah kandidat yang akan ditampilkan dengan menggunakan nilai bilangan bulat dalam rentang 1
-20
.
Untuk mengetahui informasi selengkapnya, lihat logprobs
. Anda juga perlu
menyetel parameter responseLogprobs
ke true
untuk menggunakan
fitur ini.
Parameter responseLogprobs
menampilkan probabilitas log
token yang dipilih oleh model di setiap langkah.
Untuk mengetahui informasi selengkapnya, lihat notebook Intro to Logprobs.
Pendanaan awal
Jika seed ditetapkan ke nilai tertentu, model akan berupaya sebaik mungkin untuk memberikan respons yang sama untuk permintaan berulang. Output deterministik tidak dijamin.
Selain itu, mengubah setelan model atau parameter, seperti suhu, dapat menyebabkan variasi dalam respons meskipun Anda menggunakan nilai awal yang sama. Secara
default, nilai awal acak akan digunakan.
Untuk informasi selengkapnya, lihat seed
.
Contoh
Berikut adalah contoh yang menggunakan parameter untuk menyesuaikan respons model.
Python
Instal
pip install --upgrade google-genai
Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.
Tetapkan variabel lingkungan untuk menggunakan Gen AI SDK dengan Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Go
Pelajari cara menginstal atau mengupdate Go.
Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.
Tetapkan variabel lingkungan untuk menggunakan Gen AI SDK dengan Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Langkah berikutnya
- Pelajari praktik terbaik responsible AI dan filter keamanan Vertex AI.
- Pelajari petunjuk sistem untuk keselamatan.
- Pelajari pemantauan penyalahgunaan.
- Pelajari AI yang bertanggung jawab.