Vertex AI API：建構搜尋和 RAG 體驗

Vertex AI 提供一系列 API，協助您建構自己的檢索增強生成 (RAG) 應用程式，或建構自己的搜尋引擎。本頁面將介紹這些 API。

擷取和產生

RAG 是一種方法，可讓大型語言模型 (LLM) 產生回覆內容，並以您選擇的資料來源為基礎。RAG 有兩個階段：

  1. 擷取：快速取得最相關的事實，是常見的搜尋問題。有了 RAG，您就能快速擷取生成答案所需的重要事實。
  2. 生成：LLM 會使用擷取的事實，生成有依據的回覆。

Vertex AI 提供兩個階段的選項，以滿足各種開發人員的需求。

擷取

請選擇最符合需求的擷取方法：

  • Vertex AI Search：Vertex AI Search 是符合 Google 搜尋品質的資訊檢索引擎，您可將其做為元件，搭配企業資料建構出任何生成式 AI 應用程式。Vertex AI Search 是可立即使用的 RAG 語意與關鍵字搜尋引擎，可處理各種文件類型，並提供各種來源系統的連接器，包括 BigQuery 和許多第三方系統。

    詳情請參閱 Vertex AI Search。

  • 自行建構檢索功能：如要建構語意搜尋，您可以使用 Vertex AI API 建構自訂 RAG 系統的元件。這套 API 可高效剖析文件、生成嵌入內容、執行向量搜尋，並按語意排名。使用這些低階 API 可讓您彈性設計 retriever，同時仰賴低階 Vertex AI API 縮短上市時間，並確保高品質。

    詳情請參閱「建構自己的 Retrieval Augmented Generation」。

  • 使用現有的擷取功能：您可以使用現有的搜尋功能，做為基於實體生成的擷取器。您也可以使用 RAG 專用的 Vertex API，將現有搜尋升級至更高品質。詳情請參閱接地總覽。

  • Vertex AI RAG Engine：Vertex AI RAG Engine 為 RAG 調度提供全代管執行階段，讓開發人員建構 RAG，用於正式環境和企業級情境。

    詳情請參閱 Vertex AI 生成式 AI 說明文件中的「Vertex AI RAG 引擎總覽」。

  • Google 搜尋：如果您為 Gemini 模型使用「以 Google 搜尋建立模型基準」，Gemini 就會使用 Google 搜尋，並根據相關搜尋結果產生輸出內容。這個擷取方法不需要管理，而且您可以取得 Gemini 提供的全球知識。

    詳情請參閱 Vertex AI 生成式 AI 說明文件中的「使用 Google 搜尋進行定位」。

代別

請選擇最符合需求的產生方式：

  • 根據資料提供有憑有據的回覆：針對使用者查詢產生有憑有據的答案。此 API 會使用經過精細調整的 Gemini 專屬模型，有效減少幻覺，並提供根據來源或第三方來源 (包括參照錨定支援內容) 生成的回覆。

    詳情請參閱「使用 RAG 產生具體答案」。

    您也可以使用 Vertex AI 上的生成式 AI，以 Vertex AI Search 資料建立回覆基準。詳情請參閱「與資料保持一致」。

  • 以 Google 搜尋建立基準：Gemini 是 Google 最強大的模型，可透過 Google 搜尋建立基準。您可以使用這項功能建構完全自訂的 grounded generation 解決方案。

    詳情請參閱 Vertex AI 生成式 AI 說明文件中的「使用 Google 搜尋建立回覆基準」。

  • Model Garden：如果您想完全掌控並選擇模型，可以使用 Vertex AI Model Garden 中的任何模型進行產生。

自行建構檢索增強生成功能

開發自訂 RAG 系統可在基準建立過程的每個步驟中提供彈性和控管功能。Vertex AI 提供一套 API，協助您打造專屬的搜尋解決方案。使用這些 API 可讓您在設計 RAG 應用程式時享有充分彈性，同時仰賴這些較低層級的 Vertex AI API，縮短上市時間並提升品質。

  • Document AI 版面配置剖析器。Document AI Layout Parser 會將各種格式的文件轉換為結構化表示法，讓您可以存取段落、表格、清單等內容，以及標題、頁面標題和頁尾等結構元素，並建立脈絡感知分塊，以便在各種生成式 AI 和探索應用程式中檢索資訊。

    詳情請參閱 Document AI 說明文件中的「Document AI 版面配置剖析器」。

  • 嵌入 API：Vertex AI 嵌入 API 可讓您為文字或多模態輸入內容建立嵌入項目。嵌入項目是浮點數的向量，旨在擷取輸入內容的意義。您可以使用嵌入功能，透過向量搜尋提供語意搜尋功能。

    詳情請參閱 Vertex AI 生成式 AI 說明文件中的「文字嵌入」和「多模態嵌入」。

  • 向量搜尋：檢索引擎是 RAG 或搜尋應用程式的重要部分。Vertex AI Vector Search 是一種檢索引擎，可大規模搜尋數十億個語意相似或語意相關的項目，且每秒查詢次數 (QPS) 高、召回率高、延遲時間短，且成本效益高。這項服務可搜尋密集嵌入資料，並在公開預先發布版中支援稀疏嵌入關鍵字搜尋和混合搜尋。

    詳情請參閱 Vertex AI 說明文件中的「Vertex AI Vector Search 總覽」。

  • 排名 API。排名 API 會接收文件清單，並根據文件與特定查詢的相符程度重新排序。與純粹查看文件和查詢語意相似度的嵌入值相比，排名 API 可提供更精確的分數，讓您瞭解文件回答特定查詢的程度。

    詳情請參閱「使用排名 API 改善搜尋和 RAG 品質」。

  • Grounded Generation API。使用 grounded generation API，為使用者提示生成有憑有據的答案。建立基準的來源可以是 Vertex AI Search 資料儲存庫、您提供的自訂資料，或 Google 搜尋。

    詳情請參閱「產生具體的答案」。

  • Generate Content API：使用 generate content API，針對使用者的提示產生有根據的答案。建立基準的來源可以是 Vertex AI Search 資料儲存庫或 Google 搜尋。

    詳情請參閱「以 Google 搜尋建立基準」或「以自有資料建立基準」。

  • 檢查接地 API。check grounding API 會判斷特定文字在特定參考文字集合中的根基程度。API 可從參考文本產生支援引文，指出參考文本支援特定文字的位置。除了其他用途外，API 還可用於評估 RAG 系統回應的正確性。此外，做為實驗功能，API 也會產生相牴觸的引文，指出指定文字與參考文字的差異之處。

    詳情請參閱「檢查接地」。

工作流程：從非結構化資料產生有憑有據的回覆

以下工作流程概述如何整合 Vertex AI RAG API，從非結構化資料產生具依據的回覆。

  1. 將非結構化文件 (例如 PDF 檔案、HTML 檔案或含文字的圖片) 匯入 Cloud Storage 位置。
  2. 使用版面配置剖析器處理匯入的文件。版面配置剖析器會將非結構化文件分解為多個區塊，並將非結構化內容轉換為結構化表示法。版面配置剖析器也會從區塊中擷取註解。
  3. 使用 Vertex AI 文字嵌入 API 為片段建立文字嵌入。
  4. 使用 Vector Search 建立索引並擷取區塊嵌入項目。
  5. 使用排名 API 為片段排序，並找出排名最高的片段。
  6. 使用 grounded generation API 或 generate content API，根據排名最高的片段產生具體答案。

如果您使用 Google 模型以外的答案產生模型產生答案，可以使用檢查基準方法檢查這些答案的基準。