您傳送至模型的每個呼叫都含有參數值,用來控制模型生成回覆的方式,參數值不同,生成的結果也可能會不同。實驗不同的參數值,取得最適合工作目標的值。不同模型可用的參數不盡相同。最常見的參數如下:
- 輸出詞元數量上限
- 溫度參數
- Top-P
- 種子
輸出詞元數量上限
回覆內可以生成的符記數量上限。一個符記約為四個字元。100 個符記大約對應 60 到 80 個字詞。如要取得較短的回覆,請指定較低的值;如要取得較長的回覆,請調高此值。
溫度參數
溫度會在應用topP
和 topK
時,用於回覆產生期間的取樣。溫度參數會決定選取詞元時的隨機程度。如果您想藉由提示生成較不具開放性和創意性的回覆,建議調低溫度參數。另一方面,如果溫度參數較高,則可能產生較多樣化或有創意的結果。如果溫度參數為 0
,系統一律會選取可能性最高的詞元。在這種情況下,系統會根據特定提示提供的回覆,但仍可能出現少量變化。如果模型的回覆太普通、太短或提供了備用回覆,再試試看調高溫度參數。
Gemini 型號支援的溫度值介於 0.0 和 2.0 之間。模型的預設溫度為 1.0。
Top-P
「Top-P」會影響模型選取輸出符記的方式。模型會按照可能性最高到最低的順序選取符記,直到所選符記的可能性總和等於 Top-P 值。舉例來說,假設詞元 A、B 和 C 的可能性分別為 0.3、0.2 和 0.1,而 Top-P 值為0.5
,模型會依據溫度參數選擇 A 或 B 做為下一個詞元,並排除 C 做為候選詞元。如要取得較不隨機的回覆,請指定較低的值;如要取得較隨機的回覆,請調高此值。
種子
當種子固定為特定值時,模型會盡力為重複要求提供相同的回應。無法保證會產生確定性輸出內容。此外,即使使用相同的種子值,變更模型或參數設定 (例如溫度) 也會導致回覆有所差異。根據預設,系統會使用隨機種子值。這是預先發布版功能。
後續步驟
- 在提示庫中探索提示範例。
- 瞭解如何使用 Vertex AI 提示最佳化工具 (預先發布版),針對Google 模型最佳化提示。