En esta página, se muestran los parámetros de muestreo opcionales que puedes configurar en una solicitud a un modelo. Los parámetros disponibles para cada modelo pueden variar. Para obtener más información, consulta la documentación de referencia.
Parámetros de muestreo de tokens
Top-P
P superior cambia la manera en la que el modelo selecciona tokens para la salida. Los tokens se seleccionan desde el más alto (consulta K superior) hasta el menos probable, hasta que la suma de sus probabilidades sea igual al valor de P superior. Por ejemplo, si los tokens A, B y C tienen una probabilidad de 0.3, 0.2 y 0.1, y el valor P superior es 0.5, el modelo elegirá A o B como el siguiente token mediante la temperatura y excluirá a C como candidato.
Especifica un valor más bajo para respuestas menos aleatorias y un valor más alto para respuestas más aleatorias.
Para obtener más información, consultatopP.
Top-K
El parámetro Top-K cambia la manera en la que el modelo selecciona los tokens para el resultado. K superior a 1 significa que el siguiente token seleccionado es el más probable entre todos los tokens en el vocabulario del modelo (también llamado decodificación voraz), mientras que el K superior a 3 significa que el siguiente token se selecciona de los tres tokens más probables mediante la temperatura.
Para cada paso de selección de tokens, se muestran los tokens de K superior con las probabilidades más altas. Luego, los tokens se filtran según el superior con el token final seleccionado mediante el muestreo de temperatura.
Especifica un valor más bajo para respuestas menos aleatorias y un valor más alto para respuestas más aleatorias.
Para obtener más información, consultatopK.
Temperatura
La temperatura se usa para las muestras durante la generación de respuesta, que se genera cuando se aplican topP y topK. La temperatura controla el grado de aleatorización en la selección de tokens.
Las temperaturas más bajas son buenas para los mensajes que requieren una respuesta menos abierta o de creativa, mientras que
las temperaturas más altas pueden generar resultados más diversos o creativos. Una temperatura de 0
significa que siempre se seleccionan los tokens de probabilidad más alta. En este caso, las respuestas para un mensaje determinado
son, en su mayoría, deterministas, pero es posible que haya una pequeña cantidad de variación.
Si el modelo muestra una respuesta demasiado genérica, demasiado corta o el modelo proporciona una respuesta de resguardo, intenta aumentar la temperatura.
Las temperaturas más bajas generan resultados predecibles (pero no completamente deterministas). Para obtener más información, consulta temperature.
Parámetros de detención
Cantidad máxima de tokens de salida
Establece maxOutputTokens para limitar la cantidad de tokens que se generan en la respuesta. Un token tiene aproximadamente cuatro caracteres, por lo que 100 tokens corresponden a casi 60 a 80 palabras. Establece un valor bajo para limitar la longitud de la respuesta.
Secuencias de detención
Define cadenas en stopSequences para indicarle al modelo que deje de generar texto si se encuentra una de las cadenas en la respuesta. Si una cadena aparece varias veces en la respuesta, la respuesta se trunca en el lugar en que se encontró por primera vez. Las cadenas distinguen entre mayúsculas y minúsculas.
Parámetros de penalización de tokens
Penalización por frecuencia
Los valores positivos penalizan los tokens que aparecen repetidamente en el texto generado, lo que disminuye la probabilidad de repetir contenido. El valor mínimo es -2.0. El valor máximo es hasta 2.0, pero no lo incluye.
Para obtener más información, consulta frequencyPenalty:
Penalización por presencia
Los valores positivos penalizan los tokens que ya aparecen en el texto generado, lo que aumenta la probabilidad de generar contenido más diverso. El valor mínimo es -2.0. El valor máximo es hasta 2.0, pero no lo incluye.
Para obtener más información, consulta presencePenalty:
Parámetros avanzados
Usa estos parámetros para mostrar más información sobre los tokens en la respuesta o para controlar la variabilidad de la respuesta.
Probabilidades de registro de los tokens de salida
Devuelve las probabilidades de registro de los tokens candidatos principales en cada paso de generación. Es posible que el token elegido del modelo no sea el mismo que el token de candidato principal en cada paso. Especifica la cantidad de candidatos que se mostrarán con un valor entero en el rango de 1 a 5. Para obtener más información, consulta logprobs. También debes configurar el parámetro responseLogprobs en true para usar esta función.
El parámetro responseLogprobs muestra las probabilidades de registro de los tokens que eligió el modelo en cada paso.
Semilla
Cuando el valor semilla se fija en un valor específico, el modelo hace su mejor esfuerzo para proporcionar la misma respuesta para las solicitudes repetidas. No se garantiza un resultado determinístico.
Además, cambiar la configuración del modelo o del parámetro, como la temperatura, puede causar variaciones en la respuesta, incluso cuando usas el mismo valor semilla. Según la configuración predeterminada, se usa un valor semilla aleatorio.
Para obtener más información, consulta seed.