Optimizar las peticiones

En este documento se describe cómo usar el optimizador de peticiones de Vertex AI para optimizar automáticamente el rendimiento de las peticiones mejorando las instrucciones del sistema de un conjunto de peticiones.

El optimizador de peticiones de Vertex AI puede ayudarte a mejorar tus peticiones rápidamente y a gran escala, sin tener que reescribir manualmente las instrucciones del sistema ni las peticiones individuales. Esto resulta especialmente útil cuando quieres usar instrucciones del sistema y peticiones que se han escrito para un modelo con otro modelo.

Ofrecemos dos enfoques para optimizar las peticiones:

  • El optimizador de cero disparos es un optimizador de baja latencia en tiempo real que mejora una sola petición o plantilla de instrucciones del sistema. Es rápido y no requiere ninguna configuración adicional, salvo proporcionar tu petición original o instrucción del sistema.
  • El optimizador basado en datos es un optimizador iterativo a nivel de tarea por lotes que mejora las peticiones evaluando la respuesta del modelo a peticiones de muestra etiquetadas en función de las métricas de evaluación especificadas para el modelo de destino seleccionado. Se trata de una optimización más avanzada que te permite configurar los parámetros de optimización y proporcionar algunas muestras etiquetadas.

Los usuarios pueden acceder a estos métodos a través de la interfaz de usuario o del SDK de Vertex AI.

Modelos de destino admitidos para la optimización

El optimizador de zero-shot no depende del modelo y puede mejorar las peticiones de cualquier modelo de Google.

El optimizador basado en datos solo admite la optimización de modelos de Gemini disponibles para el público general.

Siguientes pasos