Los modelos de Mistral AI en Vertex AI ofrecen modelos totalmente gestionados y sin servidor como APIs. Para usar un modelo de Mistral AI en Vertex AI, envía una solicitud directamente al endpoint de la API de Vertex AI. Como los modelos de Mistral AI usan una API gestionada, no es necesario aprovisionar ni gestionar ninguna infraestructura.
Puedes transmitir tus respuestas para reducir la latencia que perciben los usuarios finales. Una respuesta en streaming usa eventos enviados por el servidor (SSE) para transmitir la respuesta de forma incremental.
Pagas por los modelos de Mistral AI a medida que los usas (pago por uso). Para consultar los precios de pago por uso, consulta los precios de los modelos de Mistral AI en la página de precios de Vertex AI.
Modelos de Mistral AI disponibles
Los siguientes modelos de Mistral AI están disponibles para usarse en Vertex AI. Para acceder a un modelo de Mistral AI, ve a su tarjeta de modelo de Model Garden.
Mistral OCR (25.05)
Mistral OCR (25.05) es una API de reconocimiento óptico de caracteres para interpretar documentos. Mistral OCR (25.05) destaca por su capacidad para entender elementos complejos de documentos, como imágenes intercaladas, expresiones matemáticas, tablas y diseños avanzados, como el formato LaTeX. El modelo permite comprender mejor documentos complejos, como artículos científicos con gráficos, ecuaciones y cifras.
Mistral OCR (25.05) es un modelo ideal para usar en combinación con un sistema RAG que toma documentos multimodales (como presentaciones o PDFs complejos) como entrada.
Puedes combinar Mistral OCR (25.05) con otros modelos de Mistral para reformatear los resultados. Esta combinación asegura que el contenido extraído no solo sea preciso, sino que también se presente de forma estructurada y coherente, lo que lo hace adecuado para diversas aplicaciones y análisis posteriores.
Ir a la tarjeta de modelo de OCR de Mistral (25.05)
Mistral Small 3.1 (25.03)
Mistral Small 3.1 (25.03) ofrece funciones multimodales y un contexto de hasta 128.000. El modelo puede procesar y comprender entradas visuales y documentos largos, lo que amplía aún más su gama de aplicaciones en comparación con el modelo Small anterior de Mistral AI. Mistral Small 3.1 (25.03) es un modelo versátil diseñado para diversas tareas, como programación, razonamiento matemático, comprensión de documentos y diálogo. Mistral Small 3.1 (25.03) se ha diseñado para aplicaciones de baja latencia y ofrece la mejor eficiencia de su categoría en comparación con modelos de la misma calidad.
Mistral Small 3.1 (25.03) se ha sometido a un proceso completo de post-entrenamiento para alinear el modelo con las preferencias y necesidades de los humanos, lo que permite usarlo directamente en aplicaciones que requieren chat o instrucciones precisas.
Ir a la tarjeta del modelo Mistral Small 3.1 (25.03)
Mistral Large (24.11)
Mistral Large (24.11) es la versión más reciente del modelo Large de Mistral AI, que ahora incluye funciones de razonamiento y de llamada a funciones mejoradas.
- Centrado en el agente: funciones de agente de primer nivel con llamadas a funciones y salidas JSON integradas.
- Diseño multilingüe: admite decenas de idiomas, como alemán, chino, coreano, español, francés, inglés, italiano, japonés, neerlandés, polaco y portugués.
- Experto en programación: se ha entrenado con más de 80 lenguajes de programación, como Python, Java, C, C++, JavaScript y Bash. También se ha entrenado con lenguajes más específicos, como Swift y Fortran.
- Razonamiento avanzado: funciones matemáticas y de razonamiento de última generación.
Ir a la tarjeta del modelo Mistral Large (24.11)
Codestral (25.01)
Codestral (25.01) se ha diseñado para tareas de generación de código. Ayuda a los desarrolladores a escribir e interactuar con el código a través de un endpoint de API de instrucciones y finalizaciones compartido. A medida que domina el código y mejora su capacidad para conversar en varios idiomas, puedes usar Codestral (25.01) para diseñar aplicaciones de IA avanzadas para desarrolladores de software.
- Codestral (25.01) domina más de 80 lenguajes de programación, como Python, Java, C, C++, JavaScript y Bash. También funciona bien en lenguajes más específicos, como Swift y Fortran.
- Codestral (25.01) ayuda a mejorar la productividad de los desarrolladores y reduce los errores: Codestral (25.01) puede completar funciones de programación, escribir pruebas y completar cualquier código parcial mediante un mecanismo de rellenar huecos.
- Codestral (25.01) ofrece un nuevo estándar en cuanto a rendimiento y latencia con solo 24.000 millones de parámetros y una ventana de contexto de 128.000.
Codestral (25.01) se ha optimizado para los siguientes casos prácticos:
- Genera código y ofrece funciones de autocompletado, sugerencias y traducción de código.
- Añade código entre los puntos de inicio y fin definidos por el usuario, lo que la hace ideal para tareas que requieren que se genere un fragmento de código específico.
- Resume y explica tu código.
- Revisa la calidad de tu código ayudándote a refactorizarlo, corrige errores y genera casos de prueba.
Ir a la tarjeta del modelo Codestral (25.01)
Usar modelos de Mistral AI
Puedes usar comandos curl para enviar solicitudes al endpoint de Vertex AI con los siguientes nombres de modelo:
- Para Mistral OCR (25.05), usa
mistral-ocr-2505
- En Mistral Small 3.1 (25.03), usa
mistral-small-2503
- Para Mistral Large (24.11), usa
mistral-large-2411
- Para Mistral Nemo, usa
mistral-nemo
- En Codestral (25.01), usa
codestral-2501
Para obtener más información sobre cómo usar el SDK de Mistral AI, consulta la documentación de Mistral AI en Vertex AI.
Antes de empezar
Para usar los modelos de Mistral AI con Vertex AI, debes seguir estos pasos. La API de Vertex AI
(aiplatform.googleapis.com
) debe estar habilitada para usar
Vertex AI. Si ya tienes un proyecto con la API Vertex AI habilitada, puedes usarlo en lugar de crear uno nuevo.
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator
(
roles/resourcemanager.projectCreator
), which contains theresourcemanager.projects.create
permission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Vertex AI API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin
), which contains theserviceusage.services.enable
permission. Learn how to grant roles. -
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator
(
roles/resourcemanager.projectCreator
), which contains theresourcemanager.projects.create
permission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Vertex AI API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin
), which contains theserviceusage.services.enable
permission. Learn how to grant roles. - Ve a una de las siguientes tarjetas de modelo de Model Garden y haz clic en Habilitar:
- LOCATION: una región que admita modelos de Mistral AI.
- MODEL: el nombre del modelo que quieras usar. En el cuerpo de la solicitud, excluye el número de versión del modelo
@
. - ROLE: el rol asociado a un mensaje. Puedes especificar un
user
o unassistant
. El primer mensaje debe usar el roluser
. Los modelos funcionan con turnos alternos deuser
yassistant
. Si el mensaje final usa el rolassistant
, el contenido de la respuesta continúa inmediatamente a partir del contenido de ese mensaje. Puedes usarlo para restringir parte de la respuesta del modelo. - STREAM: valor booleano que especifica si la respuesta se transmite o no. Transmite tu respuesta para reducir la percepción de latencia del usuario final. Defínelo como
true
para transmitir la respuesta yfalse
para devolver la respuesta de una vez. - CONTENT: el contenido, como el
texto, del mensaje
user
oassistant
. - MAX_OUTPUT_TOKENS:
Número máximo de tokens que se pueden generar en la respuesta. Un token tiene aproximadamente 3,5 caracteres. 100 tokens corresponden aproximadamente a entre 60 y 80 palabras.
Especifica un valor inferior para las respuestas más cortas y un valor superior para las respuestas que puedan ser más largas.
- LOCATION: una región que admita modelos de Mistral AI.
- MODEL: el nombre del modelo que quieras usar. En el cuerpo de la solicitud, excluye el número de versión del modelo
@
. - ROLE: el rol asociado a un mensaje. Puedes especificar un
user
o unassistant
. El primer mensaje debe usar el roluser
. Los modelos funcionan con turnos alternos deuser
yassistant
. Si el mensaje final usa el rolassistant
, el contenido de la respuesta continúa inmediatamente a partir del contenido de ese mensaje. Puedes usarlo para restringir parte de la respuesta del modelo. - STREAM: valor booleano que especifica si la respuesta se transmite o no. Transmite tu respuesta para reducir la percepción de latencia del usuario final. Defínelo como
true
para transmitir la respuesta yfalse
para devolver la respuesta de una vez. - CONTENT: el contenido, como el
texto, del mensaje
user
oassistant
. - MAX_OUTPUT_TOKENS:
Número máximo de tokens que se pueden generar en la respuesta. Un token tiene aproximadamente 3,5 caracteres. 100 tokens corresponden aproximadamente a entre 60 y 80 palabras.
Especifica un valor inferior para las respuestas más cortas y un valor superior para las respuestas que puedan ser más largas.
- QPM: 30
- Páginas por solicitud: 30 (1 página = 1 millón de tokens de entrada y 1 millón de tokens de salida)
- QPM: 30
- Páginas por solicitud: 30 (1 página = 1 millón de tokens de entrada y 1 millón de tokens de salida)
- QPM: 60
- TPM: 200.000
- QPM: 60
- TPM: 200.000
- QPM: 60
- TPM: 400.000
- QPM: 60
- TPM: 400.000
- QPM: 60
- TPM: 400.000
- QPM: 60
- TPM: 400.000
- QPM: 60
- TPM: 400.000
- QPM: 60
- TPM: 400.000
Hacer una llamada de streaming a un modelo de Mistral AI
En el siguiente ejemplo se hace una llamada de streaming a un modelo de Mistral AI.
REST
Después de configurar tu entorno, puedes usar REST para probar una petición de texto. En el siguiente ejemplo se envía una solicitud al endpoint del modelo del editor.
Antes de usar los datos de la solicitud, haz las siguientes sustituciones:
Método HTTP y URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict
Cuerpo JSON de la solicitud:
{ "model": MODEL, "messages": [ { "role": "ROLE", "content": "CONTENT" }], "max_tokens": MAX_TOKENS, "stream": true }
Para enviar tu solicitud, elige una de estas opciones:
curl
Guarda el cuerpo de la solicitud en un archivo llamado request.json
y ejecuta el siguiente comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict"
PowerShell
Guarda el cuerpo de la solicitud en un archivo llamado request.json
y ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la siguiente.
Hacer una llamada unaria a un modelo de Mistral AI
En el siguiente ejemplo se hace una llamada unaria a un modelo de Mistral AI.
REST
Después de configurar tu entorno, puedes usar REST para probar una petición de texto. En el siguiente ejemplo se envía una solicitud al endpoint del modelo del editor.
Antes de usar los datos de la solicitud, haz las siguientes sustituciones:
Método HTTP y URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict
Cuerpo JSON de la solicitud:
{ "model": MODEL, "messages": [ { "role": "ROLE", "content": "CONTENT" }], "max_tokens": MAX_TOKENS, "stream": false }
Para enviar tu solicitud, elige una de estas opciones:
curl
Guarda el cuerpo de la solicitud en un archivo llamado request.json
y ejecuta el siguiente comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict"
PowerShell
Guarda el cuerpo de la solicitud en un archivo llamado request.json
y ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la siguiente.
Disponibilidad y cuotas de las regiones de los modelos de Mistral AI
En el caso de los modelos de Mistral AI, se aplica una cuota a cada región en la que esté disponible el modelo. La cuota se especifica en consultas por minuto (QPM) y tokens por minuto (TPM). TPM incluye tokens de entrada y de salida.
Modelo | Región | Cuotas | Longitud del contexto |
---|---|---|---|
Mistral OCR (25.05) | |||
us-central1 |
|
30 páginas | |
europe-west4 |
|
30 páginas | |
Mistral Small 3.1 (25.03) | |||
us-central1 |
|
128.000 | |
europe-west4 |
|
128.000 | |
Mistral Large (24.11) | |||
us-central1 |
|
128.000 | |
europe-west4 |
|
128.000 | |
Mistral Nemo | |||
us-central1 |
|
128.000 | |
europe-west4 |
|
128.000 | |
Codestral (25.01) | |||
us-central1 |
|
32.000 | |
europe-west4 |
|
32.000 |
Si quieres aumentar alguna de tus cuotas de IA generativa en Vertex AI, puedes solicitarlo a través de la Google Cloud consola. Para obtener más información sobre las cuotas, consulta el artículo Trabajar con cuotas.