Puedes añadir vídeos a las peticiones de Gemini para realizar tareas que impliquen entender el contenido de los vídeos incluidos. En esta página se explica cómo añadir vídeos a tus solicitudes a Gemini en Vertex AI mediante la consola y la API de Vertex AI. Google Cloud
Modelos admitidos
En la siguiente tabla se indican los modelos que admiten la función de interpretación de vídeo:
Modelo | Detalles del contenido multimedia | Tipos MIME |
---|---|---|
Gemini 2.5 Flash-Lite |
|
|
Gemini 2.5 Flash con audio nativo de la API Live |
|
|
Gemini 2.0 Flash con la API Live |
|
|
Gemini 2.0 Flash con generación de imágenes |
|
|
Gemini 2.5 Pro |
|
|
Gemini 2.5 Flash |
|
|
Gemini 2.0 Flash |
|
|
Gemini 2.0 Flash-Lite |
|
|
La métrica de cuota es generate_content_video_input_per_base_model_id_and_resolution
.
Para ver una lista de los idiomas disponibles en los modelos de Gemini, consulta la información sobre los modelos de Google. Para obtener más información sobre cómo diseñar peticiones multimodales, consulta Diseña peticiones multimodales. Si quieres usar Gemini directamente desde tus aplicaciones móviles y web, consulta los SDKs de cliente de lógica de IA de Firebase para aplicaciones Swift, Android, web, Flutter y Unity.
Añadir vídeos a una solicitud
Puedes añadir uno o varios vídeos en tu petición a Gemini. Los vídeos pueden incluir audio.
Vídeo único
El código de ejemplo de cada una de las pestañas siguientes muestra una forma diferente de identificar el contenido de un vídeo. Este ejemplo funciona con todos los modelos multimodales de Gemini.
Consola
Para enviar una petición multimodal mediante la Google Cloud consola, sigue estos pasos:En la sección Vertex AI de la Google Cloud consola, ve a la página Vertex AI Studio.
Haz clic en Crear petición.
Opcional: Configura el modelo y los parámetros:
- Modelo: selecciona un modelo.
Opcional: Para configurar parámetros avanzados, haga clic en Avanzado y configure lo siguiente:
Haz clic para desplegar las configuraciones avanzadas
Top-K: usa el control deslizante o el cuadro de texto para introducir un valor de top-K.
Top-K cambia la forma en que el modelo selecciona los tokens de salida. Un valor de K superior de1
significa que el siguiente token seleccionado es el más probable de todos los tokens del vocabulario del modelo (también llamado decodificación voraz), mientras que un valor de K superior de3
significa que el siguiente token se selecciona de entre los tres tokens más probables mediante la temperatura.En cada paso de selección de tokens, se muestrean los K tokens principales con las probabilidades más altas. Después, los tokens se filtran en función de la probabilidad P máxima y el token final se selecciona mediante un muestreo de temperatura.
Especifica un valor más bajo para obtener respuestas menos aleatorias y un valor más alto para obtener respuestas más aleatorias.
- Top-P: usa el control deslizante o el cuadro de texto para introducir un valor de top-P.
Los tokens se seleccionan de más probable a menos probable hasta que la suma de sus probabilidades sea igual al valor de top-P. Para obtener los resultados menos variables,
define top_p como
0
. - Número máximo de respuestas: usa el control deslizante o el cuadro de texto para introducir el número de respuestas que quieres generar.
- Respuestas graduales: habilita esta opción para imprimir las respuestas a medida que se generan.
- Umbral del filtro de seguridad: selecciona el umbral de probabilidad de que veas respuestas que puedan ser dañinas.
- Habilitar Grounding: Grounding no se admite en las peticiones multimodales.
- Región: selecciona la región que quieras usar.
- Temperatura: usa el control deslizante o el cuadro de texto para introducir un valor de temperatura.
The temperature is used for sampling during response generation, which occurs when
andtopP
topK
are applied. Temperature controls the degree of randomness in token selection. Lower temperatures are good for prompts that require a less open-ended or creative response, while higher temperatures can lead to more diverse or creative results. A temperature of0
means that the highest probability tokens are always selected. In this case, responses for a given prompt are mostly deterministic, but a small amount of variation is still possible.If the model returns a response that's too generic, too short, or the model gives a fallback response, try increasing the temperature.
<li>**Output token limit**: Use the slider or textbox to enter a value for the max output limit. Maximum number of tokens that can be generated in the response. A token is approximately four characters. 100 tokens correspond to roughly 60-80 words.Specify a lower value for shorter responses and a higher value for potentially longer responses.
<li>**Add stop sequence**: Optional. Enter a stop sequence, which is a series of characters that includes spaces. If the model encounters a stop sequence, the response generation stops. The stop sequence isn't included in the response, and you can add up to five stop sequences. </ul>
Haz clic en Insertar contenido multimedia y selecciona una fuente para el archivo.
Subir
Selecciona el archivo que quieras subir y haz clic en Abrir.
Por URL
Introduzca la URL del archivo que quiera usar y haga clic en Insertar.
YouTube
Introduce la URL del vídeo de YouTube que quieras usar y haz clic en Insertar.
Puedes usar cualquier vídeo público o un vídeo que sea propiedad de la cuenta que hayas usado para iniciar sesión en la consola de Google Cloud .
Cloud Storage
Selecciona el contenedor y, a continuación, el archivo del contenedor que quieras importar y haz clic en Seleccionar.
Google Drive
- Elige una cuenta y da tu consentimiento para que Vertex AI Studio acceda a ella la primera vez que selecciones esta opción. Puedes subir varios archivos que tengan un tamaño total de hasta 10 MB. Un archivo no puede superar los 7 MB.
- Haz clic en el archivo que quieras añadir.
Haz clic en Seleccionar.
La miniatura del archivo se muestra en el panel Petición. También se muestra el número total de tokens. Si los datos de tu petición superan el límite de tokens, los tokens se truncarán y no se incluirán en el procesamiento de tus datos.
Escribe tu petición de texto en el panel Petición.
Opcional: Para ver el ID de token a texto y los IDs de token, haz clic en el recuento de tokens del panel Petición.
Haz clic en Enviar.
Opcional: Para guardar tu petición en Mis peticiones, haz clic en
Guardar.Opcional: Para obtener el código de Python o un comando curl para tu petición, haz clic en
Crear con código > Obtener código.
Python
Instalar
pip install --upgrade google-genai
Para obtener más información, consulta la documentación de referencia del SDK.
Define variables de entorno para usar el SDK de IA generativa con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Go
Consulta cómo instalar o actualizar Go.
Para obtener más información, consulta la documentación de referencia del SDK.
Define variables de entorno para usar el SDK de IA generativa con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Java
Consulta cómo instalar o actualizar Java.
Para obtener más información, consulta la documentación de referencia del SDK.
Define variables de entorno para usar el SDK de IA generativa con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
REST
Después de configurar tu entorno, puedes usar REST para probar una petición de texto. En el siguiente ejemplo se envía una solicitud al endpoint del modelo del editor.
Antes de usar los datos de la solicitud, haz las siguientes sustituciones:
PROJECT_ID
: tu ID de proyecto.FILE_URI
: URI o URL del archivo que se va a incluir en la petición. Entre los valores aceptados se incluyen los siguientes:- URI del segmento de Cloud Storage: el objeto debe ser de lectura pública o estar en el mismo proyecto Google Cloud que envía la solicitud. En
gemini-2.0-flash
ygemini-2.0-flash-lite
, el límite de tamaño es de 2 GB. - URL HTTP: la URL del archivo debe ser de lectura pública. Puedes especificar un archivo de vídeo, un archivo de audio y hasta 10 archivos de imagen por solicitud. Los archivos de audio, vídeo y documentos no pueden superar los 15 MB.
- URL del vídeo de YouTube: el vídeo de YouTube debe ser propiedad de la cuenta que has usado para iniciar sesión en la Google Cloud consola o debe ser público. Solo se admite una URL de vídeo de YouTube por solicitud.
Cuando especifiques un
fileURI
, también debes especificar el tipo de contenido multimedia (mimeType
) del archivo. Si Controles de Servicio de VPC está habilitado, no se admite especificar una URL de archivo multimedia parafileURI
.Si no tienes ningún archivo de vídeo en Cloud Storage, puedes usar el siguiente archivo disponible públicamente:
gs://cloud-samples-data/video/animals.mp4
con el tipo MIMEvideo/mp4
. Para ver este vídeo, abre el archivo MP4 de muestra.- URI del segmento de Cloud Storage: el objeto debe ser de lectura pública o estar en el mismo proyecto Google Cloud que envía la solicitud. En
MIME_TYPE
: el tipo de contenido multimedia del archivo especificado en los camposdata
ofileUri
. Entre los valores aceptados se incluyen los siguientes:Haz clic para desplegar los tipos de MIME
application/pdf
audio/mpeg
audio/mp3
audio/wav
image/png
image/jpeg
image/webp
text/plain
video/mov
video/mpeg
video/mp4
video/mpg
video/avi
video/wmv
video/mpegps
video/flv
TEXT
: las instrucciones de texto que se deben incluir en la petición. Por ejemplo:What is in the video?
Para enviar tu solicitud, elige una de estas opciones:
curl
Guarda el cuerpo de la solicitud en un archivo llamado request.json
.
Ejecuta el siguiente comando en el terminal para crear o sobrescribir este archivo en el directorio actual:
cat > request.json << 'EOF' { "contents": { "role": "USER", "parts": [ { "fileData": { "fileUri": "FILE_URI", "mimeType": "MIME_TYPE" } }, { "text": "TEXT" } ] } } EOF
A continuación, ejecuta el siguiente comando para enviar tu solicitud REST:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent"
PowerShell
Guarda el cuerpo de la solicitud en un archivo llamado request.json
.
Ejecuta el siguiente comando en el terminal para crear o sobrescribir este archivo en el directorio actual:
@' { "contents": { "role": "USER", "parts": [ { "fileData": { "fileUri": "FILE_URI", "mimeType": "MIME_TYPE" } }, { "text": "TEXT" } ] } } '@ | Out-File -FilePath request.json -Encoding utf8
A continuación, ejecuta el siguiente comando para enviar tu solicitud REST:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la siguiente.
Fíjate en lo siguiente de la URL de este ejemplo:- Usa el método
generateContent
para solicitar que la respuesta se devuelva una vez que se haya generado por completo. Para reducir la percepción de latencia de los usuarios, transmite la respuesta a medida que se genera mediante el métodostreamGenerateContent
. - El ID del modelo multimodal se encuentra al final de la URL, antes del método (por ejemplo,
gemini-2.0-flash
). Es posible que esta muestra también admita otros modelos.
Vídeo con audio
A continuación, se muestra cómo resumir un archivo de vídeo con audio y devolver capítulos con marcas de tiempo. Esta muestra funciona con Gemini 2.0.
Python
Instalar
pip install --upgrade google-genai
Para obtener más información, consulta la documentación de referencia del SDK.
Define variables de entorno para usar el SDK de IA generativa con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
REST
Después de configurar tu entorno, puedes usar REST para probar una petición de texto. En el siguiente ejemplo se envía una solicitud al endpoint del modelo del editor.
Antes de usar los datos de la solicitud, haz las siguientes sustituciones:
PROJECT_ID
: .FILE_URI
: URI o URL del archivo que se va a incluir en la petición. Entre los valores aceptados se incluyen los siguientes:- URI del segmento de Cloud Storage: el objeto debe ser de lectura pública o estar en el mismo proyecto Google Cloud que envía la solicitud. En
gemini-2.0-flash
ygemini-2.0-flash-lite
, el límite de tamaño es de 2 GB. - URL HTTP: la URL del archivo debe ser de lectura pública. Puedes especificar un archivo de vídeo, un archivo de audio y hasta 10 archivos de imagen por solicitud. Los archivos de audio, vídeo y documentos no pueden superar los 15 MB.
- URL del vídeo de YouTube: el vídeo de YouTube debe ser propiedad de la cuenta que has usado para iniciar sesión en la Google Cloud consola o debe ser público. Solo se admite una URL de vídeo de YouTube por solicitud.
Cuando especifiques un
fileURI
, también debes especificar el tipo de contenido multimedia (mimeType
) del archivo. Si Controles de Servicio de VPC está habilitado, no se admite especificar una URL de archivo multimedia parafileURI
.Si no tienes ningún archivo de vídeo en Cloud Storage, puedes usar el siguiente archivo disponible públicamente:
gs://cloud-samples-data/generative-ai/video/pixel8.mp4
con el tipo MIMEvideo/mp4
. Para ver este vídeo, abre el archivo MP4 de muestra.- URI del segmento de Cloud Storage: el objeto debe ser de lectura pública o estar en el mismo proyecto Google Cloud que envía la solicitud. En
MIME_TYPE
: el tipo de contenido multimedia del archivo especificado en los camposdata
ofileUri
. Entre los valores aceptados se incluyen los siguientes:Haz clic para desplegar los tipos de MIME
application/pdf
audio/mpeg
audio/mp3
audio/wav
image/png
image/jpeg
image/webp
text/plain
video/mov
video/mpeg
video/mp4
video/mpg
video/avi
video/wmv
video/mpegps
video/flv
Las instrucciones de texto que se deben incluir en la petición. Por ejemplo:TEXT
Provide a description of the video. The description should also contain anything important which people say in the video.
Para enviar tu solicitud, elige una de estas opciones:
curl
Guarda el cuerpo de la solicitud en un archivo llamado request.json
.
Ejecuta el siguiente comando en el terminal para crear o sobrescribir este archivo en el directorio actual:
cat > request.json << 'EOF' { "contents": { "role": "USER", "parts": [ { "fileData": { "fileUri": "FILE_URI", "mimeType": "MIME_TYPE" } }, { "text": "TEXT" } ] } } EOF
A continuación, ejecuta el siguiente comando para enviar tu solicitud REST:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent"
PowerShell
Guarda el cuerpo de la solicitud en un archivo llamado request.json
.
Ejecuta el siguiente comando en el terminal para crear o sobrescribir este archivo en el directorio actual:
@' { "contents": { "role": "USER", "parts": [ { "fileData": { "fileUri": "FILE_URI", "mimeType": "MIME_TYPE" } }, { "text": "TEXT" } ] } } '@ | Out-File -FilePath request.json -Encoding utf8
A continuación, ejecuta el siguiente comando para enviar tu solicitud REST:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la siguiente.
Fíjate en lo siguiente de la URL de este ejemplo:- Usa el método
generateContent
para solicitar que la respuesta se devuelva una vez que se haya generado por completo. Para reducir la percepción de latencia de los usuarios, transmite la respuesta a medida que se genera mediante el métodostreamGenerateContent
. - El ID del modelo multimodal se encuentra al final de la URL, antes del método (por ejemplo,
gemini-2.0-flash
). Es posible que esta muestra también admita otros modelos.
Consola
Para enviar una petición multimodal mediante la Google Cloud consola, sigue estos pasos:En la sección Vertex AI de la Google Cloud consola, ve a la página Vertex AI Studio.
Haz clic en Crear petición.
Opcional: Configura el modelo y los parámetros:
- Modelo: selecciona un modelo.
Opcional: Para configurar parámetros avanzados, haga clic en Avanzado y configure lo siguiente:
Haz clic para desplegar las configuraciones avanzadas
Top-K: usa el control deslizante o el cuadro de texto para introducir un valor de top-K.
Top-K cambia la forma en que el modelo selecciona los tokens de salida. Un valor de K superior de1
significa que el siguiente token seleccionado es el más probable de todos los tokens del vocabulario del modelo (también llamado decodificación voraz), mientras que un valor de K superior de3
significa que el siguiente token se selecciona de entre los tres tokens más probables mediante la temperatura.En cada paso de selección de tokens, se muestrean los K tokens principales con las probabilidades más altas. Después, los tokens se filtran en función de la probabilidad P máxima y el token final se selecciona mediante un muestreo de temperatura.
Especifica un valor más bajo para obtener respuestas menos aleatorias y un valor más alto para obtener respuestas más aleatorias.
- Top-P: usa el control deslizante o el cuadro de texto para introducir un valor de top-P.
Los tokens se seleccionan de más probable a menos probable hasta que la suma de sus probabilidades sea igual al valor de top-P. Para obtener los resultados menos variables,
define top_p como
0
. - Número máximo de respuestas: usa el control deslizante o el cuadro de texto para introducir el número de respuestas que quieres generar.
- Respuestas graduales: habilita esta opción para imprimir las respuestas a medida que se generan.
- Umbral del filtro de seguridad: selecciona el umbral de probabilidad de que veas respuestas que puedan ser dañinas.
- Habilitar Grounding: Grounding no se admite en las peticiones multimodales.
- Región: selecciona la región que quieras usar.
- Temperatura: usa el control deslizante o el cuadro de texto para introducir un valor de temperatura.
The temperature is used for sampling during response generation, which occurs when
andtopP
topK
are applied. Temperature controls the degree of randomness in token selection. Lower temperatures are good for prompts that require a less open-ended or creative response, while higher temperatures can lead to more diverse or creative results. A temperature of0
means that the highest probability tokens are always selected. In this case, responses for a given prompt are mostly deterministic, but a small amount of variation is still possible.If the model returns a response that's too generic, too short, or the model gives a fallback response, try increasing the temperature.
<li>**Output token limit**: Use the slider or textbox to enter a value for the max output limit. Maximum number of tokens that can be generated in the response. A token is approximately four characters. 100 tokens correspond to roughly 60-80 words.Specify a lower value for shorter responses and a higher value for potentially longer responses.
<li>**Add stop sequence**: Optional. Enter a stop sequence, which is a series of characters that includes spaces. If the model encounters a stop sequence, the response generation stops. The stop sequence isn't included in the response, and you can add up to five stop sequences. </ul>
Haz clic en Insertar contenido multimedia y selecciona una fuente para el archivo.
Subir
Selecciona el archivo que quieras subir y haz clic en Abrir.
Por URL
Introduzca la URL del archivo que quiera usar y haga clic en Insertar.
YouTube
Introduce la URL del vídeo de YouTube que quieras usar y haz clic en Insertar.
Puedes usar cualquier vídeo público o un vídeo que sea propiedad de la cuenta que hayas usado para iniciar sesión en la consola de Google Cloud .
Cloud Storage
Selecciona el contenedor y, a continuación, el archivo del contenedor que quieras importar y haz clic en Seleccionar.
Google Drive
- Elige una cuenta y da tu consentimiento para que Vertex AI Studio acceda a ella la primera vez que selecciones esta opción. Puedes subir varios archivos que tengan un tamaño total de hasta 10 MB. Un archivo no puede superar los 7 MB.
- Haz clic en el archivo que quieras añadir.
Haz clic en Seleccionar.
La miniatura del archivo se muestra en el panel Petición. También se muestra el número total de tokens. Si los datos de tu petición superan el límite de tokens, los tokens se truncarán y no se incluirán en el procesamiento de tus datos.
Escribe tu petición de texto en el panel Petición.
Opcional: Para ver el ID de token a texto y los IDs de token, haz clic en el recuento de tokens del panel Petición.
Haz clic en Enviar.
Opcional: Para guardar tu petición en Mis peticiones, haz clic en
Guardar.Opcional: Para obtener el código de Python o un comando curl para tu petición, haz clic en
Crear con código > Obtener código.
Personalizar el procesamiento de vídeo
Puedes personalizar el procesamiento de vídeo en la API Gemini para Google Cloud definiendo intervalos de recorte o proporcionando un muestreo de la frecuencia de fotogramas personalizado.
Definir intervalos de recorte
Puedes recortar vídeos especificando
videoMetadata
con desplazamientos de inicio y de finalización.
Definir una frecuencia de imagen personalizada
Puedes definir un muestreo de la frecuencia de imagen personalizado pasando un argumento fps
a
videoMetadata
.
De forma predeterminada, se toma una muestra de 1 fotograma por segundo (FPS) del vídeo. Puede que te interese definir un valor de FPS bajo (< 1) para los vídeos largos. Esto es especialmente útil en vídeos que no tienen mucho movimiento (por ejemplo, conferencias). Si quieres captar más detalles en imágenes que cambian rápidamente, te recomendamos que elijas un valor de FPS más alto.
Ajustar la resolución del contenido multimedia
Puedes ajustar MediaResolution
para procesar tus vídeos con menos tokens.
Definir parámetros de modelo opcionales
Cada modelo tiene un conjunto de parámetros opcionales que puedes definir. Para obtener más información, consulte Parámetros de generación de contenido.
Tokenización de vídeo
A continuación, se explica cómo se calculan los tokens en los vídeos:
-
La pista de audio está codificada con fotogramas de vídeo. La pista de audio también se divide en
fragmentos de 1 segundo , cada uno de los cuales contiene 32 tokens. Los fotogramas de vídeo y los tokens de audio se entrelazan con sus marcas de tiempo. Las marcas de tiempo se representan como 5 tokens. -
En los vídeos que se muestrean a
1 fotograma por segundo (fps) o menos, las marcas de tiempo de la primera hora del vídeo se representan como 5 tokens por fotograma del vídeo. Las marcas de tiempo restantes se representan como 7 tokens por fotograma de vídeo. -
En los vídeos que se muestrean a más de
1 fotograma por segundo (fps) , las marcas de tiempo de la primera hora del vídeo se representan como 9 tokens por fotograma de vídeo. Las marcas de tiempo restantes se representan como 11 tokens por fotograma de vídeo.
Prácticas recomendadas
Cuando uses vídeos, sigue estas prácticas recomendadas e información para obtener los mejores resultados:
- Si tu petición contiene un solo vídeo, colócalo antes de la petición de texto.
- Si necesitas que se localicen las marcas de tiempo de un vídeo con audio, pide al modelo que genere marcas de tiempo con el formato que se describe en "Formato de marca de tiempo".
Limitaciones
Aunque los modelos multimodales de Gemini son potentes en muchos casos de uso multimodal, es importante conocer sus limitaciones:
- Moderación de contenido: los modelos se niegan a proporcionar respuestas sobre vídeos que infrinjan nuestras políticas de seguridad.
- Reconocimiento de sonidos que no son de voz: los modelos que admiten audio pueden cometer errores al reconocer sonidos que no son de voz.
Detalles técnicos sobre los vídeos
Modelos y contexto admitidos: todos los modelos de Gemini 2.0 y 2.5 pueden procesar datos de vídeo.
- Los modelos con una ventana de contexto de 2 millones pueden procesar vídeos de hasta 2 horas con la resolución multimedia predeterminada o de 6 horas con una resolución multimedia baja, mientras que los modelos con una ventana de contexto de 1 millón pueden procesar vídeos de hasta 1 hora con la resolución multimedia predeterminada o de 3 horas con una resolución multimedia baja.
Procesamiento de la API File: cuando se usa la API File, los vídeos se muestrean a 1 fotograma por segundo (FPS) y el audio se procesa a 1 Kbps (un solo canal). Las marcas de tiempo se añaden cada segundo.
- Estas tarifas están sujetas a cambios en el futuro para mejorar la inferencia.
Cálculo de tokens: cada segundo de vídeo se tokeniza de la siguiente manera:
Fotogramas individuales (muestreados a 1 FPS):
Si
mediaResolution
se define en bajo, los fotogramas se tokenizan a 66 tokens por fotograma, más los tokens de marca de tiempo.De lo contrario, los fotogramas se tokenizan a 258 tokens por fotograma, más los tokens de marca de tiempo.
Audio: 25 tokens por segundo, más los tokens de marca de tiempo.
También se incluyen los metadatos.
Total: aproximadamente 300 tokens por segundo de vídeo con la resolución multimedia predeterminada o 100 tokens por segundo de vídeo con la resolución multimedia baja.
Formato de marca de tiempo: cuando hagas referencia a momentos específicos de un vídeo en tu petición, el formato de la marca de tiempo dependerá de la frecuencia de muestreo de fotogramas por segundo (FPS) del vídeo:
Para frecuencias de muestreo de 1 FPS o menos: usa el formato
MM:SS
, donde los dos primeros dígitos representan los minutos y los dos últimos, los segundos. Si tienes desfases de más de una hora, usa el formatoH:MM:SS
.Para frecuencias de muestreo superiores a 1 FPS: usa el formato
MM:SS.sss
o, si tienes desfases de más de 1 hora, el formatoH:MM:SS.sss
, que se describe a continuación:- El primer dígito representa la hora.
- Los dos segundos dígitos representan los minutos.
- Los dos terceros dígitos representan los segundos.
- Los tres últimos dígitos representan los subsegundos.
Prácticas recomendadas:
Para obtener resultados óptimos, usa solo un vídeo por solicitud.
Si combinas texto y un solo vídeo, coloca la petición de texto después de la parte del vídeo en la matriz
contents
.Ten en cuenta que las secuencias de acción rápidas pueden perder detalles debido a la frecuencia de muestreo de 1 FPS. Si es necesario, puedes ralentizar esos clips.
Siguientes pasos
- Empieza a crear con los modelos multimodales de Gemini: los nuevos clientes reciben 300 USD en crédito Google Cloud gratis para descubrir lo que pueden hacer con Gemini.
- Consulta cómo enviar solicitudes de peticiones de chat.
- Consulta las prácticas recomendadas de IA responsable y los filtros de seguridad de Vertex AI.