Chat Completions API berfungsi sebagai endpoint yang kompatibel dengan Open AI, yang dirancang untuk mempermudah interaksi dengan Gemini di Vertex AI dengan menggunakan library OpenAI untuk Python dan REST. Jika sudah menggunakan library OpenAI, Anda dapat menggunakan API ini sebagai cara berbiaya rendah untuk beralih antara memanggil model OpenAI dan model yang dihosting Vertex AI untuk membandingkan output, biaya, dan skalabilitas, tanpa mengubah kode yang ada. Jika Anda belum menggunakan library OpenAI, sebaiknya gunakan Google Gen AI SDK.
Model yang didukung
Chat Completions API mendukung model Gemini dan model tertentu yang di-deploy sendiri dari Model Garden.
Model Gemini
Model berikut memberikan dukungan untuk Chat Completions API:
Model yang di-deploy sendiri dari Model Garden
Container Hugging Face Text Generation Interface (HF TGI) dan vLLM bawaan Vertex AI Model Garden mendukung Chat Completions API. Namun, tidak semua model yang di-deploy ke penampung ini mendukung Chat Completions API. Tabel berikut mencakup model yang didukung paling populer menurut penampung:
HF TGI |
vLLM |
---|---|
Parameter yang didukung
Untuk model Google, Chat Completions API mendukung parameter OpenAI berikut. Untuk mengetahui deskripsi setiap parameter, lihat dokumentasi OpenAI tentang Membuat penyelesaian chat. Dukungan parameter untuk model pihak ketiga bervariasi menurut model. Untuk melihat parameter yang didukung, lihat dokumentasi model.
messages |
|
model |
|
max_completion_tokens |
Alias untuk max_tokens . |
max_tokens |
|
n |
|
frequency_penalty |
|
presence_penalty |
|
reasoning_effort |
Mengonfigurasi berapa banyak waktu dan token yang digunakan untuk respons.
reasoning_effort atau extra_body.google.thinking_config
yang dapat ditentukan.
|
response_format |
|
seed |
Sesuai dengan GenerationConfig.seed . |
stop |
|
stream |
|
temperature |
|
top_p |
|
tools |
|
tool_choice |
|
web_search_options |
Berhubungan dengan alat GoogleSearch . Tidak ada sub-opsi yang
didukung. |
function_call |
Kolom ini tidak digunakan lagi, tetapi didukung untuk kompatibilitas mundur. |
functions |
Kolom ini tidak digunakan lagi, tetapi didukung untuk kompatibilitas mundur. |
Jika Anda meneruskan parameter yang tidak didukung, parameter tersebut akan diabaikan.
Parameter input multimodal
Chat Completions API mendukung input multimodal tertentu.
input_audio |
|
image_url |
|
Secara umum, parameter data
dapat berupa URI atau kombinasi jenis MIME dan
byte berenkode base64 dalam bentuk "data:<MIME-TYPE>;base64,<BASE64-ENCODED-BYTES>"
.
Untuk mengetahui daftar lengkap jenis MIME, lihat GenerateContent
.
Untuk mengetahui informasi selengkapnya tentang encoding base64 OpenAI, lihat dokumentasi mereka.
Untuk penggunaan, lihat contoh input multimodal kami.
Parameter khusus Gemini
Ada beberapa fitur yang didukung oleh Gemini yang tidak tersedia di model OpenAI.
Fitur ini masih dapat diteruskan sebagai parameter, tetapi harus berada dalam
extra_content
atau extra_body
atau akan diabaikan.
Fitur extra_body
safety_settings |
Ini sesuai dengan SafetySetting Gemini. |
cached_content |
Ini sesuai dengan GenerateContentRequest.cached_content Gemini. |
thinking_config |
Ini sesuai dengan GenerationConfig.ThinkingConfig Gemini. |
thought_tag_marker |
Digunakan untuk memisahkan pemikiran model dari responsnya untuk model dengan fitur Berpikir yang tersedia. Jika tidak ditentukan, tidak ada tag yang akan ditampilkan di sekitar pemikiran model. Jika ada, kueri berikutnya akan menghapus tag ide dan menandai ide dengan tepat untuk konteks. Hal ini membantu mempertahankan konteks yang sesuai untuk kueri berikutnya. |
Fitur extra_part
extra_part
memungkinkan Anda menentukan setelan tambahan di tingkat per-Part
.
extra_content |
Kolom untuk menambahkan konten khusus Gemini yang tidak boleh diabaikan. |
thought |
Hal ini akan menandai secara eksplisit apakah suatu kolom adalah pemikiran (dan lebih diutamakan daripada
thought_tag_marker ). Hal ini harus digunakan untuk menentukan apakah panggilan alat
adalah bagian dari pemikiran atau tidak. |
Langkah berikutnya
- Pelajari lebih lanjut autentikasi dan pemberian kredensial dengan sintaksis yang kompatibel dengan OpenAI.
- Lihat contoh panggilan ke Chat Completions API dengan sintaksis yang kompatibel dengan OpenAI.
- Lihat contoh panggilan Inference API dengan sintaksis yang kompatibel dengan OpenAI.
- Lihat contoh pemanggilan Function Calling API dengan sintaks yang kompatibel dengan OpenAI.
- Pelajari Gemini API lebih lanjut.
- Pelajari lebih lanjut cara bermigrasi dari Azure OpenAI ke Gemini API.