Experimentar con los valores de los parámetros

Cada llamada que envías a un modelo incluye valores de parámetros que controlan cómo genera el modelo una respuesta. El modelo puede generar resultados diferentes en función de los valores de los parámetros. Experimenta con diferentes valores de parámetros para obtener los mejores valores para la tarea. Los parámetros disponibles para los diferentes modelos pueden variar. Los parámetros más habituales son los siguientes:

  • Tokens de salida máximos
  • Temperatura
  • Top-P
  • Semilla

Tokens de salida máximos

Número máximo de tokens que se pueden generar en la respuesta. Un token tiene aproximadamente cuatro caracteres. 100 tokens corresponden aproximadamente a entre 60 y 80 palabras.

Especifica un valor inferior para las respuestas más cortas y un valor superior para las respuestas que puedan ser más largas.

Temperatura

La temperatura se usa para el muestreo durante la generación de respuestas, que se produce cuando se aplican topP y topK. La temperatura controla el grado de aleatoriedad en la selección de tokens. Las temperaturas más bajas son adecuadas para las peticiones que requieren una respuesta menos abierta o creativa, mientras que las temperaturas más altas pueden dar lugar a resultados más diversos o creativos. Una temperatura de 0 significa que siempre se seleccionan los tokens con la probabilidad más alta. En este caso, las respuestas a una petición determinada son mayormente deterministas, pero sigue siendo posible que haya una pequeña variación.

Si el modelo devuelve una respuesta demasiado genérica o demasiado corta, o bien una respuesta alternativa, prueba a aumentar la temperatura.

Los modelos de Gemini admiten un valor de temperatura entre 0,0 y 2,0. Los modelos tienen una temperatura predeterminada de 1,0.

Top-P

Top-P cambia la forma en que el modelo selecciona los tokens de salida. Los tokens se seleccionan de más probable a menos probable hasta que la suma de sus probabilidades sea igual al valor de top-P. Por ejemplo, si los tokens A, B y C tienen una probabilidad de 0,3, 0,2 y 0,1, y el valor de top_p es 0.5, el modelo seleccionará A o B como el siguiente token usando la temperatura y excluirá C como candidato.

Especifica un valor más bajo para obtener respuestas menos aleatorias y un valor más alto para obtener respuestas más aleatorias.

Semilla

Cuando la semilla se fija en un valor específico, el modelo hace todo lo posible para proporcionar la misma respuesta a las solicitudes repetidas. No se garantiza que la salida sea determinista. Además, si cambias el modelo o los ajustes de los parámetros, como la temperatura, pueden producirse variaciones en la respuesta aunque uses el mismo valor de semilla. De forma predeterminada, se usa un valor de semilla aleatorio.

Esta es una función de vista previa.

Siguientes pasos