您可以使用樣本儲存庫儲存及動態擷取少量樣本。您可透過少量樣本向 LLM 展示預期的回覆模式,提升對類似查詢的回覆品質、準確率和一致性。
少樣本示例是什麼?
少量示例是指專屬於 LLM 用途的標記資料。其中包含輸入/輸出組合,呈現模型要求的預期模型回應。您可以使用示例來展示 LLM 的預期行為或回覆模式。
只要使用幾個相關範例,您就能涵蓋更多可能的結果、預期行為和使用者輸入內容,而無須相應增加提示的大小或複雜度。這包括只納入相關範例 (減少納入的範例數量),以及「展示而非說明」預期行為。
使用少量樣本範例是一種情境式學習。示例會展示輸入和輸出的明確模式,但不會說明模型如何產生內容。您只需使用相對較少的範例,就能涵蓋更多可能的結果或使用者查詢,而無須增加提示大小或程式碼複雜度。使用範例不會更新預先訓練模型的參數,也不會影響 LLM 的知識廣度。因此,透過範例進行語境學習,是相對輕量且簡潔的方法,可用於自訂、修正或改善 LLM 對未知提示的推理和回應。
收集代表使用者查詢的相關範例,有助於模型維持注意力、展示預期的模式,並修正不正確或意外的行為。這不會影響其他導致預期回應的要求。
如同所有提示工程策略,使用少量範例可與其他 LLM 最佳化技巧 (例如微調或RAG) 相輔相成。
如何使用範例商店
下列步驟說明如何使用示範商店:
建立或重複使用
ExampleStore
資源,也稱為「Example Store 例項」。- 每個區域和專案最多可有 50 個範例商店執行個體。
根據 LLM 回覆撰寫並上傳範例。可能有兩種情況:
如果 LLM 的行為和回應模式符合預期,請根據這些回應編寫範例,然後上傳至範例庫例項。
如果 LLM 顯示非預期的行為或回應模式,請撰寫範例來示範如何修正回應,然後將其上傳至範例儲存庫執行個體。
上傳的範例會立即提供給與範例商店例項相關聯的代理程式或 LLM 應用程式。
如果以 Vertex AI Agent Development Kit 為基礎的代理程式連結至範例商店執行個體,則代理程式會自動擷取範例,並將這些範例納入 LLM 要求。
對於所有其他 LLM 應用程式,您必須搜尋並擷取範例,然後將這些範例納入提示中。
每當您發現 LLM 出現非預期的效能,或遇到惡意或非預期的使用者查詢時,都可以繼續在 Example Store 執行個體中重複新增範例。您不需要更新程式碼,也不需要重新部署新版 LLM 應用程式。一旦將範例上傳至 Example Store 執行個體,代理程式或應用程式就能使用這些範例。
此外,您還可以執行下列操作:
在已儲存範例的搜尋鍵與查詢中的搜尋鍵之間執行餘弦相似度搜尋,藉此擷取範例。
依函式名稱篩選範例,並將候選範例清單精簡為代表大型語言模型可能回應的範例。
反覆改善代理程式或大型語言模型應用程式。
與多個代理程式或 LLM 應用程式分享範例。
編寫少量樣本指南
示例對模型效能的影響取決於提示中包含哪些類型的示例,以及如何納入這些示例。
以下是編寫範例的一般建議做法:
相關性和相似性:示例必須與特定工作或領域密切相關。這有助於模型專注於知識中最相關的部分,減少符號使用量,並維持或甚至改善效能。如果這些範例與對話相關,您只需要較少的範例。可用範例的語料庫必須代表可能的使用者查詢。此外,示例必須與特定使用者查詢相關。
複雜度:為協助 LLM 提升效能,請使用複雜度較低的範例來展示預期的推理方式。
代表可能的模型結果:範例中的預期回應必須與可能的結果一致。這樣一來,範例就能清楚展示與 LLM 預期推理一致的推理。
格式:為獲得最佳成效,請在提示中以與 LLM 訓練資料一致的方式格式化少量示例,並與對話記錄區分開。提示中範例的格式可能會對 LLM 效能造成重大影響。
用途範例:函式呼叫
您可以使用少量範例來改善函式呼叫效能。您可以使用一致的模式,指出使用者查詢的預期函式呼叫。這個範例可以模擬對要求的預期回應,方法是加入需要叫用的函式,以及函式呼叫中要加入的引數。請考慮以下用途:函式 get_store_location
會傳回商店的位置和說明。如果查詢未依預期叫用此函式,或顯示非預期的輸出內容,您可以使用少量範例修正後續查詢的這項行為。
如要進一步瞭解函式呼叫,請參閱「函式呼叫」。
詳情請參閱「商店快速入門範例」。
後續步驟
瞭解如何建立範例商店。
瞭解如何透過範例教導服務機器人