本指南介绍了您可以在向模型发出的请求中设置的可选采样参数。每个模型的可用参数可能有所不同。如需了解详情,请参阅参考文档。 本页面涵盖以下主题:
Top-P 可更改模型选择输出词元的方式。系统会按照概率从最高到最低的顺序选择 token,直到所选 token 的概率总和等于 top-P 值。例如,如果词元 A、B 和 C 的概率分别为 0.3、0.2 和 0.1,并且 top-P 值为 指定较低的值可获得随机程度较低的回答,指定较高的值可获得随机程度较高的回答。
温度 (temperature) 在生成回复期间用于采样,在应用 如果模型返回的回答过于笼统、过于简短,或者模型给出后备回答,请尝试提高温度。 较低的温度会产生可预测(但并非完全确定性)的结果。如需了解详情,请参阅 设置 在
正值会惩罚生成的文本中反复出现的词元,从而降低重复内容概率。最小值为
正值会惩罚已生成文本中已存在的词元,从而增加生成更多样化内容的概率。最小值为 您可以使用这些参数在回答中返回有关 token 的更多信息,或控制回答的可变性。
返回每个生成步骤中排名靠前的候选 token 的对数概率。模型的所选 token 可能与每个步骤中排名靠前的候选 token 不同。使用介于 如需了解详情,请参阅 Logprobs 简介笔记本。
当种子固定为特定值时,模型会尽最大努力为重复请求提供相同的回答。无法保证确定性输出。此外,更改模型或参数设置(例如温度)可能会导致回答发生变化,即使您使用相同的种子值也是如此。默认情况下,系统会使用随机种子值。
如需了解详情,请参阅 以下示例展示了如何使用参数来调优模型的回答。
如需了解详情,请参阅 SDK 参考文档。
设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用:
了解如何安装或更新 Go。
如需了解详情,请参阅 SDK 参考文档。
设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用:
token 采样参数
Top-P
0.5
,则模型将选择 A 或 B 作为下一个词元(通过温度确定),并会排除 C,将其作为候选词元。
topP
。
温度
topP
和 topK
时会生成回复。温度可以控制词元选择的随机性。
较低的温度有利于需要更少开放性或创造性回复的提示,而较高的温度可以带来更具多样性或创造性的结果。温度为 0
表示始终选择概率最高的词元。在这种情况下,给定提示的回复大多是确定的,但可能仍然有少量变化。
temperature
。停止参数
输出词元数上限
maxOutputTokens
以限制回答中生成的 token 数量。一个 token 约为 4 个字符,因此 100 个 token 大约对应 60-80 个字词。设置较低的值可限制回答的长度。停止序列
stopSequences
中定义字符串,告知模型在回答中遇到其中一个字符串时,停止生成文本。如果某个字符串在回答中多次出现,则回答会在首次出现该字符串的位置截断。字符串区分大小写。token 惩罚参数
频次惩罚
-2.0
。最大值为 2.0
,但不包括该数值。
如需了解详情,请参阅 frequencyPenalty
。存在性惩罚
-2.0
。最大值为 2.0
,但不包括该数值。
如需了解详情,请参阅 presencePenalty
。高级参数
输出 token 的对数概率
1
到 20
范围内的整数值指定要返回的候选项数量。如需了解详情,请参阅 logprobs
。您还需要将 responseLogprobs
参数设置为 true
,才能使用此功能。responseLogprobs
参数会返回模型在每个步骤中选择的 token 的对数概率。种子
seed
。示例
Python
安装
pip install --upgrade google-genai
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
Go
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
后续步骤
内容生成参数
如未另行说明,那么本页面中的内容已根据知识共享署名 4.0 许可获得了许可,并且代码示例已根据 Apache 2.0 许可获得了许可。有关详情,请参阅 Google 开发者网站政策。Java 是 Oracle 和/或其关联公司的注册商标。
最后更新时间 (UTC):2025-08-19。