範例商店總覽

您可以使用樣本儲存庫儲存及動態擷取少量樣本。您可透過少量樣本向 LLM 展示預期的回覆模式,提升對類似查詢的回覆品質、準確率和一致性。

少樣本示例是什麼?

少量示例是指專屬於 LLM 用途的標記資料。其中包含輸入/輸出組合,呈現模型要求的預期模型回應。您可以使用示例來展示 LLM 的預期行為或回覆模式。

只要使用幾個相關範例,您就能涵蓋更多可能的結果、預期行為和使用者輸入內容,而無須相應增加提示的大小或複雜度。這包括只納入相關範例 (減少納入的範例數量),以及「展示而非說明」預期行為。

使用少量樣本範例是一種情境式學習。示例會展示輸入和輸出的明確模式,但不會說明模型如何產生內容。您只需使用相對較少的範例,就能涵蓋更多可能的結果或使用者查詢,而無須增加提示大小或程式碼複雜度。使用範例不會更新預先訓練模型的參數,也不會影響 LLM 的知識廣度。因此,透過範例進行語境學習,是相對輕量且簡潔的方法,可用於自訂、修正或改善 LLM 對未知提示的推理和回應。

收集代表使用者查詢的相關範例,有助於模型維持注意力、展示預期的模式,並修正不正確或意外的行為。這不會影響其他導致預期回應的要求。

如同所有提示工程策略,使用少量範例可與其他 LLM 最佳化技巧 (例如微調RAG) 相輔相成。

如何使用範例商店

下列步驟說明如何使用示範商店:

  1. 建立或重複使用 ExampleStore 資源,也稱為「Example Store 例項」。

    • 每個區域和專案最多可有 50 個範例商店執行個體。
  2. 根據 LLM 回覆撰寫並上傳範例。可能有兩種情況:

    • 如果 LLM 的行為和回應模式符合預期,請根據這些回應編寫範例,然後上傳至範例庫例項。

    • 如果 LLM 顯示非預期的行為或回應模式,請撰寫範例來示範如何修正回應,然後將其上傳至範例儲存庫執行個體。

  3. 上傳的範例會立即提供給與範例商店例項相關聯的代理程式或 LLM 應用程式。

    • 如果以 Vertex AI Agent Development Kit 為基礎的代理程式連結至範例商店執行個體,則代理程式會自動擷取範例,並將這些範例納入 LLM 要求。

    • 對於所有其他 LLM 應用程式,您必須搜尋並擷取範例,然後將這些範例納入提示中。

每當您發現 LLM 出現非預期的效能,或遇到惡意或非預期的使用者查詢時,都可以繼續在 Example Store 執行個體中重複新增範例。您不需要更新程式碼,也不需要重新部署新版 LLM 應用程式。一旦將範例上傳至 Example Store 執行個體,代理程式或應用程式就能使用這些範例。

此外,您還可以執行下列操作:

  • 在已儲存範例的搜尋鍵與查詢中的搜尋鍵之間執行餘弦相似度搜尋,藉此擷取範例。

  • 依函式名稱篩選範例,並將候選範例清單精簡為代表大型語言模型可能回應的範例。

  • 反覆改善代理程式或大型語言模型應用程式。

  • 與多個代理程式或 LLM 應用程式分享範例。

編寫少量樣本指南

示例對模型效能的影響取決於提示中包含哪些類型的示例,以及如何納入這些示例。

以下是編寫範例的一般建議做法:

  • 相關性和相似性:示例必須與特定工作或領域密切相關。這有助於模型專注於知識中最相關的部分,減少符號使用量,並維持或甚至改善效能。如果這些範例與對話相關,您只需要較少的範例。可用範例的語料庫必須代表可能的使用者查詢。此外,示例必須與特定使用者查詢相關。

  • 複雜度:為協助 LLM 提升效能,請使用複雜度較低的範例來展示預期的推理方式。

  • 代表可能的模型結果:範例中的預期回應必須與可能的結果一致。這樣一來,範例就能清楚展示與 LLM 預期推理一致的推理。

  • 格式:為獲得最佳成效,請在提示中以與 LLM 訓練資料一致的方式格式化少量示例,並與對話記錄區分開。提示中範例的格式可能會對 LLM 效能造成重大影響。

用途範例:函式呼叫

您可以使用少量範例來改善函式呼叫效能。您可以使用一致的模式,指出使用者查詢的預期函式呼叫。這個範例可以模擬對要求的預期回應,方法是加入需要叫用的函式,以及函式呼叫中要加入的引數。請考慮以下用途:函式 get_store_location 會傳回商店的位置和說明。如果查詢未依預期叫用此函式,或顯示非預期的輸出內容,您可以使用少量範例修正後續查詢的這項行為。

如要進一步瞭解函式呼叫,請參閱「函式呼叫」。

詳情請參閱「商店快速入門範例」。

後續步驟