Anda dapat menambahkan video ke permintaan Gemini untuk melakukan tugas yang melibatkan pemahaman isi video yang disertakan. Halaman ini menunjukkan cara menambahkan video ke permintaan Anda ke Gemini di Vertex AI menggunakan konsol dan Vertex AI API. Google Cloud
Model yang didukung
Tabel berikut mencantumkan model yang mendukung pemahaman video:
Model | Detail media | Jenis MIME |
---|---|---|
Gemini 2.5 Flash-Lite |
|
|
Gemini 2.5 Flash dengan audio native Live API |
|
|
Gemini 2.0 Flash dengan Live API |
|
|
Gemini 2.0 Flash dengan pembuatan gambar |
|
|
Gemini 2.5 Pro |
|
|
Gemini 2.5 Flash |
|
|
Gemini 2.0 Flash |
|
|
Gemini 2.0 Flash-Lite |
|
|
Metrik kuota adalah
generate_content_video_input_per_base_model_id_and_resolution
.
Untuk mengetahui daftar bahasa yang didukung oleh model Gemini, lihat informasi model Model Google. Untuk mempelajari lebih lanjut cara mendesain perintah multimodal, lihat Mendesain perintah multimodal. Jika Anda mencari cara untuk menggunakan Gemini langsung dari aplikasi seluler dan web, lihat SDK klien Logika AI Firebase untuk aplikasi Swift, Android, Web, Flutter, dan Unity.
Menambahkan video ke permintaan
Anda dapat menambahkan satu atau beberapa video dalam permintaan Anda ke Gemini dan video tersebut dapat menyertakan audio.
Video tunggal
Contoh kode di setiap tab berikut menunjukkan cara yang berbeda untuk mengidentifikasi isi video. Contoh ini berfungsi dengan semua model multimodal Gemini.
Konsol
Untuk mengirim perintah multimodal menggunakan konsol Google Cloud , lakukan hal berikut:Di bagian Vertex AI pada konsol Google Cloud , buka halaman Vertex AI Studio.
Klik Buat perintah.
Opsional: Konfigurasikan model dan parameter:
- Model: Pilih model.
Opsional: Untuk mengonfigurasi parameter lanjutan, klik Lanjutan dan konfigurasikan sebagai berikut:
Klik untuk meluaskan konfigurasi lanjutan
Top-K: Gunakan penggeser atau kotak teks untuk memasukkan nilai untuk top-K.
Top-K mengubah cara model memilih token untuk output. Top-K1
berarti token yang dipilih berikutnya adalah yang paling mungkin di antara semua token dalam kosakata model (juga disebut decoding greedy), sedangkan top-K3
berarti token berikutnya dipilih di antara tiga token yang paling mungkin dengan menggunakan suhu.Untuk setiap langkah pemilihan token, token top-K dengan probabilitas tertinggi akan diambil sampelnya. Kemudian token akan difilter lebih lanjut berdasarkan top-P dengan token akhir yang dipilih menggunakan pengambilan sampel suhu.
Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.
- Top-P: Gunakan penggeser atau kotak teks untuk memasukkan nilai untuk top-P.
Token dipilih dari yang paling mungkin hingga yang paling tidak mungkin sampai jumlah probabilitasnya sama dengan nilai top-P. Untuk hasil yang paling sedikit variabelnya, tetapkan top-P ke
0
. - Respons maks: Gunakan penggeser atau kotak teks untuk memasukkan nilai jumlah respons yang akan dibuat.
- Streaming respons: Aktifkan untuk mencetak respons saat dihasilkan.
- Nilai minimum filter keamanan: Pilih nilai minimum seberapa besar kemungkinan Anda melihat respons yang dapat berbahaya.
- Aktifkan Perujukan: Perujukan tidak didukung untuk perintah multimodal.
- Region: Pilih region yang ingin Anda gunakan.
- Suhu: Gunakan penggeser atau kotak teks untuk memasukkan nilai suhu.
The temperature is used for sampling during response generation, which occurs when
andtopP
topK
are applied. Temperature controls the degree of randomness in token selection. Lower temperatures are good for prompts that require a less open-ended or creative response, while higher temperatures can lead to more diverse or creative results. A temperature of0
means that the highest probability tokens are always selected. In this case, responses for a given prompt are mostly deterministic, but a small amount of variation is still possible.If the model returns a response that's too generic, too short, or the model gives a fallback response, try increasing the temperature.
<li>**Output token limit**: Use the slider or textbox to enter a value for the max output limit. Maximum number of tokens that can be generated in the response. A token is approximately four characters. 100 tokens correspond to roughly 60-80 words.Specify a lower value for shorter responses and a higher value for potentially longer responses.
<li>**Add stop sequence**: Optional. Enter a stop sequence, which is a series of characters that includes spaces. If the model encounters a stop sequence, the response generation stops. The stop sequence isn't included in the response, and you can add up to five stop sequences. </ul>
Klik Sisipkan Media, lalu pilih sumber untuk file Anda.
Upload
Pilih file yang ingin Anda upload, lalu klik Buka.
Melalui URL
Masukkan URL file yang ingin Anda gunakan, lalu klik Sisipkan.
YouTube
Masukkan URL video YouTube yang ingin Anda gunakan, lalu klik Sisipkan.
Anda dapat menggunakan video publik atau video yang dimiliki oleh akun yang Anda gunakan untuk login ke konsol Google Cloud .
Cloud Storage
Pilih bucket, lalu pilih file dari bucket yang ingin Anda impor, lalu klik Pilih.
Google Drive
- Pilih akun dan berikan izin kepada Vertex AI Studio untuk mengakses akun Anda saat pertama kali Anda memilih opsi ini. Anda dapat mengupload beberapa file yang memiliki total ukuran hingga 10 MB. Satu file tidak boleh melebihi 7 MB.
- Klik file yang ingin Anda tambahkan.
Klik Pilih.
Thumbnail file ditampilkan di panel Perintah. Jumlah total token juga ditampilkan. Jika data perintah Anda melebihi batas token, token akan terpotong dan tidak disertakan dalam pemrosesan data Anda.
Masukkan perintah teks Anda di panel Perintah.
Opsional: Untuk melihat ID token ke teks dan ID token, klik jumlah token di panel Perintah.
Klik Submit.
Opsional: Untuk menyimpan perintah Anda ke My prompts, klik
Save.Opsional: Untuk mendapatkan kode Python atau perintah curl untuk perintah Anda, klik
Build with code > Get code.
Python
Instal
pip install --upgrade google-genai
Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.
Tetapkan variabel lingkungan untuk menggunakan Gen AI SDK dengan Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Go
Pelajari cara menginstal atau mengupdate Go.
Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.
Tetapkan variabel lingkungan untuk menggunakan Gen AI SDK dengan Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
REST
Setelah menyiapkan lingkungan, Anda dapat menggunakan REST untuk menguji perintah teks. Contoh berikut mengirim permintaan ke endpoint model penayang.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
PROJECT_ID
: Project ID Anda.FILE_URI
: URI atau URL file yang akan disertakan dalam perintah. Nilai yang dapat diterima mencakup hal berikut:- URI bucket Cloud Storage: Objek harus dapat dibaca secara publik atau berada di project Google Cloud yang sama dengan project yang mengirim permintaan. Untuk
gemini-2.0-flash
dangemini-2.0-flash-lite
, batas ukuran adalah 2 GB. - URL HTTP: URL file harus dapat dibaca secara publik. Anda dapat menentukan satu file video, satu file audio, dan hingga 10 file gambar per permintaan. Ukuran file audio, file video, dan dokumen tidak boleh lebih dari 15 MB.
- URL video YouTube:Video YouTube harus dimiliki oleh akun yang Anda gunakan untuk login ke konsol Google Cloud atau bersifat publik. Hanya satu URL video YouTube yang didukung per permintaan.
Saat menentukan
fileURI
, Anda juga harus menentukan jenis media (mimeType
) file. Jika Kontrol Layanan VPC diaktifkan, penentuan URL file media untukfileURI
tidak didukung.Jika tidak memiliki file video di Cloud Storage, Anda dapat menggunakan file yang tersedia secara publik berikut:
gs://cloud-samples-data/video/animals.mp4
dengan jenis MIMEvideo/mp4
. Untuk melihat video ini, buka file MP4 contoh.- URI bucket Cloud Storage: Objek harus dapat dibaca secara publik atau berada di project Google Cloud yang sama dengan project yang mengirim permintaan. Untuk
MIME_TYPE
: Jenis media file yang ditentukan dalam kolomdata
ataufileUri
. Nilai yang dapat diterima mencakup hal berikut:Klik untuk meluaskan jenis MIME
application/pdf
audio/mpeg
audio/mp3
audio/wav
image/png
image/jpeg
image/webp
text/plain
video/mov
video/mpeg
video/mp4
video/mpg
video/avi
video/wmv
video/mpegps
video/flv
TEXT
: Petunjuk teks yang akan disertakan dalam perintah. Misalnya,What is in the video?
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
.
Jalankan perintah berikut di terminal untuk membuat atau menimpa file ini di direktori saat ini:
cat > request.json << 'EOF' { "contents": { "role": "USER", "parts": [ { "fileData": { "fileUri": "FILE_URI", "mimeType": "MIME_TYPE" } }, { "text": "TEXT" } ] } } EOF
Kemudian, jalankan perintah berikut untuk mengirim permintaan REST Anda:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent"
PowerShell
Simpan isi permintaan dalam file bernama request.json
.
Jalankan perintah berikut di terminal untuk membuat atau menimpa file ini di direktori saat ini:
@' { "contents": { "role": "USER", "parts": [ { "fileData": { "fileUri": "FILE_URI", "mimeType": "MIME_TYPE" } }, { "text": "TEXT" } ] } } '@ | Out-File -FilePath request.json -Encoding utf8
Kemudian, jalankan perintah berikut untuk mengirim permintaan REST Anda:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent" | Select-Object -Expand Content
Anda akan menerima respons JSON yang mirip dengan berikut ini.
Perhatikan hal berikut di URL untuk sampel ini:- Gunakan metode
generateContent
untuk meminta agar respons ditampilkan setelah dibuat sepenuhnya. Untuk mengurangi persepsi latensi bagi audiens manusia, streaming respons saat respons dibuat menggunakan metodestreamGenerateContent
. - ID model multimodal terletak di akhir URL sebelum metode
(misalnya,
gemini-2.0-flash
). Contoh ini mungkin mendukung model lain juga.
Video dengan audio
Berikut ini cara meringkas file video dengan audio dan menampilkan bab dengan stempel waktu. Contoh ini kompatibel dengan Gemini 2.0.
Python
Instal
pip install --upgrade google-genai
Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.
Tetapkan variabel lingkungan untuk menggunakan Gen AI SDK dengan Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
REST
Setelah menyiapkan lingkungan, Anda dapat menggunakan REST untuk menguji perintah teks. Contoh berikut mengirim permintaan ke endpoint model penayang.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
PROJECT_ID
: Project ID Anda.FILE_URI
: URI atau URL file yang akan disertakan dalam perintah. Nilai yang dapat diterima mencakup hal berikut:- URI bucket Cloud Storage: Objek harus dapat dibaca secara publik atau berada di project Google Cloud yang sama dengan project yang mengirim permintaan. Untuk
gemini-2.0-flash
dangemini-2.0-flash-lite
, batas ukuran adalah 2 GB. - URL HTTP: URL file harus dapat dibaca secara publik. Anda dapat menentukan satu file video, satu file audio, dan hingga 10 file gambar per permintaan. Ukuran file audio, file video, dan dokumen tidak boleh lebih dari 15 MB.
- URL video YouTube:Video YouTube harus dimiliki oleh akun yang Anda gunakan untuk login ke konsol Google Cloud atau bersifat publik. Hanya satu URL video YouTube yang didukung per permintaan.
Saat menentukan
fileURI
, Anda juga harus menentukan jenis media (mimeType
) file. Jika Kontrol Layanan VPC diaktifkan, penentuan URL file media untukfileURI
tidak didukung.Jika tidak memiliki file video di Cloud Storage, Anda dapat menggunakan file yang tersedia secara publik berikut:
gs://cloud-samples-data/generative-ai/video/pixel8.mp4
dengan jenis MIMEvideo/mp4
. Untuk melihat video ini, buka file MP4 contoh.- URI bucket Cloud Storage: Objek harus dapat dibaca secara publik atau berada di project Google Cloud yang sama dengan project yang mengirim permintaan. Untuk
MIME_TYPE
: Jenis media file yang ditentukan dalam kolomdata
ataufileUri
. Nilai yang dapat diterima mencakup hal berikut:Klik untuk meluaskan jenis MIME
application/pdf
audio/mpeg
audio/mp3
audio/wav
image/png
image/jpeg
image/webp
text/plain
video/mov
video/mpeg
video/mp4
video/mpg
video/avi
video/wmv
video/mpegps
video/flv
Petunjuk teks yang akan disertakan dalam perintah. Misalnya,TEXT
Provide a description of the video. The description should also contain anything important which people say in the video.
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
.
Jalankan perintah berikut di terminal untuk membuat atau menimpa file ini di direktori saat ini:
cat > request.json << 'EOF' { "contents": { "role": "USER", "parts": [ { "fileData": { "fileUri": "FILE_URI", "mimeType": "MIME_TYPE" } }, { "text": "TEXT" } ] } } EOF
Kemudian, jalankan perintah berikut untuk mengirim permintaan REST Anda:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent"
PowerShell
Simpan isi permintaan dalam file bernama request.json
.
Jalankan perintah berikut di terminal untuk membuat atau menimpa file ini di direktori saat ini:
@' { "contents": { "role": "USER", "parts": [ { "fileData": { "fileUri": "FILE_URI", "mimeType": "MIME_TYPE" } }, { "text": "TEXT" } ] } } '@ | Out-File -FilePath request.json -Encoding utf8
Kemudian, jalankan perintah berikut untuk mengirim permintaan REST Anda:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent" | Select-Object -Expand Content
Anda akan menerima respons JSON yang mirip dengan berikut ini.
Perhatikan hal berikut di URL untuk sampel ini:- Gunakan metode
generateContent
untuk meminta agar respons ditampilkan setelah dibuat sepenuhnya. Untuk mengurangi persepsi latensi bagi audiens manusia, streaming respons saat respons dibuat menggunakan metodestreamGenerateContent
. - ID model multimodal terletak di akhir URL sebelum metode
(misalnya,
gemini-2.0-flash
). Contoh ini mungkin mendukung model lain juga.
Konsol
Untuk mengirim perintah multimodal menggunakan konsol Google Cloud , lakukan hal berikut:Di bagian Vertex AI pada konsol Google Cloud , buka halaman Vertex AI Studio.
Klik Buat perintah.
Opsional: Konfigurasikan model dan parameter:
- Model: Pilih model.
Opsional: Untuk mengonfigurasi parameter lanjutan, klik Lanjutan dan konfigurasikan sebagai berikut:
Klik untuk meluaskan konfigurasi lanjutan
Top-K: Gunakan penggeser atau kotak teks untuk memasukkan nilai untuk top-K.
Top-K mengubah cara model memilih token untuk output. Top-K1
berarti token yang dipilih berikutnya adalah yang paling mungkin di antara semua token dalam kosakata model (juga disebut decoding greedy), sedangkan top-K3
berarti token berikutnya dipilih di antara tiga token yang paling mungkin dengan menggunakan suhu.Untuk setiap langkah pemilihan token, token top-K dengan probabilitas tertinggi akan diambil sampelnya. Kemudian token akan difilter lebih lanjut berdasarkan top-P dengan token akhir yang dipilih menggunakan pengambilan sampel suhu.
Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.
- Top-P: Gunakan penggeser atau kotak teks untuk memasukkan nilai untuk top-P.
Token dipilih dari yang paling mungkin hingga yang paling tidak mungkin sampai jumlah probabilitasnya sama dengan nilai top-P. Untuk hasil yang paling sedikit variabelnya, tetapkan top-P ke
0
. - Respons maks: Gunakan penggeser atau kotak teks untuk memasukkan nilai jumlah respons yang akan dibuat.
- Streaming respons: Aktifkan untuk mencetak respons saat dihasilkan.
- Nilai minimum filter keamanan: Pilih nilai minimum seberapa besar kemungkinan Anda melihat respons yang dapat berbahaya.
- Aktifkan Perujukan: Perujukan tidak didukung untuk perintah multimodal.
- Region: Pilih region yang ingin Anda gunakan.
- Suhu: Gunakan penggeser atau kotak teks untuk memasukkan nilai suhu.
The temperature is used for sampling during response generation, which occurs when
andtopP
topK
are applied. Temperature controls the degree of randomness in token selection. Lower temperatures are good for prompts that require a less open-ended or creative response, while higher temperatures can lead to more diverse or creative results. A temperature of0
means that the highest probability tokens are always selected. In this case, responses for a given prompt are mostly deterministic, but a small amount of variation is still possible.If the model returns a response that's too generic, too short, or the model gives a fallback response, try increasing the temperature.
<li>**Output token limit**: Use the slider or textbox to enter a value for the max output limit. Maximum number of tokens that can be generated in the response. A token is approximately four characters. 100 tokens correspond to roughly 60-80 words.Specify a lower value for shorter responses and a higher value for potentially longer responses.
<li>**Add stop sequence**: Optional. Enter a stop sequence, which is a series of characters that includes spaces. If the model encounters a stop sequence, the response generation stops. The stop sequence isn't included in the response, and you can add up to five stop sequences. </ul>
Klik Sisipkan Media, lalu pilih sumber untuk file Anda.
Upload
Pilih file yang ingin Anda upload, lalu klik Buka.
Melalui URL
Masukkan URL file yang ingin Anda gunakan, lalu klik Sisipkan.
YouTube
Masukkan URL video YouTube yang ingin Anda gunakan, lalu klik Sisipkan.
Anda dapat menggunakan video publik atau video yang dimiliki oleh akun yang Anda gunakan untuk login ke konsol Google Cloud .
Cloud Storage
Pilih bucket, lalu pilih file dari bucket yang ingin Anda impor, lalu klik Pilih.
Google Drive
- Pilih akun dan berikan izin kepada Vertex AI Studio untuk mengakses akun Anda saat pertama kali Anda memilih opsi ini. Anda dapat mengupload beberapa file yang memiliki total ukuran hingga 10 MB. Satu file tidak boleh melebihi 7 MB.
- Klik file yang ingin Anda tambahkan.
Klik Pilih.
Thumbnail file ditampilkan di panel Perintah. Jumlah total token juga ditampilkan. Jika data perintah Anda melebihi batas token, token akan terpotong dan tidak disertakan dalam pemrosesan data Anda.
Masukkan perintah teks Anda di panel Perintah.
Opsional: Untuk melihat ID token ke teks dan ID token, klik jumlah token di panel Perintah.
Klik Submit.
Opsional: Untuk menyimpan perintah Anda ke My prompts, klik
Save.Opsional: Untuk mendapatkan kode Python atau perintah curl untuk perintah Anda, klik
Build with code > Get code.
Menyesuaikan pemrosesan video
Anda dapat menyesuaikan pemrosesan video di Gemini untuk Google Cloud API dengan menetapkan interval klip atau memberikan pengambilan sampel kecepatan frame kustom.
Menetapkan interval kliping
Anda dapat memangkas video dengan menentukan
videoMetadata
dengan selisih waktu mulai dan akhir.
Menetapkan kecepatan frame kustom
Anda dapat menyetel pengambilan sampel kecepatan frame kustom dengan meneruskan argumen fps
ke
videoMetadata
.
Secara default, 1 frame per detik (FPS) diambil sampelnya dari video. Anda mungkin ingin menyetel FPS rendah (< 1) untuk video panjang. Hal ini sangat berguna untuk video yang sebagian besar statis (misalnya, kuliah). Jika Anda ingin merekam lebih banyak detail dalam visual yang berubah dengan cepat, pertimbangkan untuk menyetel nilai FPS yang lebih tinggi.
Menyesuaikan resolusi media
Anda dapat menyesuaikan
MediaResolution
untuk memproses video dengan lebih sedikit token.
Menetapkan parameter model opsional
Setiap model memiliki serangkaian parameter opsional yang dapat Anda tetapkan. Untuk mengetahui informasi selengkapnya, lihat Parameter pembuatan konten.
Tokenisasi video
Berikut cara penghitungan token untuk video:
- Trek audio dienkode dengan frame video. Trek audio juga
dipecah menjadi
potongan 1 detik yang masing-masing terdiri dari 32 token. Frame video dan token audio disisipkan bersama dengan stempel waktunya. Stempel waktu direpresentasikan sebagai 5 token. - Video diambil sampelnya pada
1 frame per detik (fps) . Setiap frame video dihitung sebagai 258 token.
Praktik terbaik
Saat menggunakan video, gunakan praktik terbaik dan informasi berikut untuk mendapatkan hasil terbaik:
- Jika perintah Anda berisi satu video, tempatkan video sebelum perintah teks.
- Jika Anda memerlukan pelokalan stempel waktu dalam video dengan audio, minta model
untuk membuat stempel waktu dalam format
MM:SS
dengan dua digit pertama mewakili menit dan dua digit terakhir mewakili detik. Gunakan format yang sama untuk pertanyaan yang menanyakan stempel waktu.
Batasan
Meskipun model multimodal Gemini sangat canggih dalam banyak kasus penggunaan multimodal, penting untuk memahami batasan model ini:
- Moderasi konten: Model menolak memberikan jawaban pada video yang melanggar kebijakan keamanan kami.
- Pengenalan suara non-ucapan: Model yang mendukung audio mungkin keliru mengenali suara yang bukan ucapan.
- Gerakan kecepatan tinggi: Model mungkin melakukan kesalahan dalam memahami gerakan kecepatan tinggi dalam video karena kecepatan pengambilan sampel
1 frame per detik (fps) yang tetap.
Detail teknis tentang video
Model & konteks yang didukung: Semua model Gemini 2.0 dan 2.5 dapat memproses data video.
- Model dengan jendela konteks 2 juta token dapat memproses video berdurasi hingga 2 jam pada resolusi media default atau berdurasi 6 jam pada resolusi media rendah, sedangkan model dengan jendela konteks 1 juta token dapat memproses video berdurasi hingga 1 jam pada resolusi media default atau berdurasi 3 jam pada resolusi media rendah.
Pemrosesan File API: Saat menggunakan File API, video diambil sampelnya pada 1 frame per detik (FPS) dan audio diproses pada 1 Kbps (satu saluran). Stempel waktu ditambahkan setiap detik.
- Kecepatan ini dapat berubah pada masa mendatang untuk meningkatkan kualitas inferensi.
Penghitungan token: Setiap detik video di-tokenisasi sebagai berikut:
Frame individual (diambil sampel pada 1 FPS):
Jika
mediaResolution
disetel ke rendah, frame akan di-tokenisasi pada 66 token per frame.Jika tidak, frame akan di-tokenisasi pada 258 token per frame.
Audio: 32 token per detik.
Metadata juga disertakan.
Total: Sekitar 300 token per detik video pada resolusi media default, atau 100 token per detik video pada resolusi media rendah.
Format stempel waktu: Saat merujuk ke momen tertentu dalam video di dalam perintah Anda, gunakan format
MM:SS
(misalnya,01:15
selama 1 menit 15 detik).Praktik terbaik:
Gunakan hanya satu video per permintaan perintah untuk mendapatkan hasil yang optimal.
Jika menggabungkan teks dan satu video, tempatkan perintah teks setelah bagian video dalam array
contents
.Perhatikan bahwa urutan tindakan cepat mungkin kehilangan detail karena kecepatan pengambilan sampel 1 FPS. Pertimbangkan untuk memperlambat klip tersebut jika perlu.
Langkah berikutnya
- Mulai membangun dengan model multimodal Gemini - pelanggan baru mendapatkan kredit gratis senilai $300 Google Cloud untuk menjelajahi kemampuan Gemini.
- Pelajari cara mengirim permintaan prompt chat.
- Pelajari praktik terbaik responsible AI dan filter keamanan Vertex AI.