為生成式 AI 應用程式選擇模型和基礎架構


應用程式代管:代管應用程式的運算資源。應用程式可使用 Google Cloud 的用戶端程式庫和 SDK與不同的 Cloud 產品通訊。
模型託管:為生成式模型提供可擴充且安全的託管服務。
模型:文字、即時通訊、圖片、程式碼、嵌入資料和多模態的生成模型。
建立基準解決方案:將模型輸出連結至可驗證且更新的資訊來源。
資料庫:儲存應用程式資料。您可以透過 SQL 查詢擴充提示,並/或使用 pgvector 等擴充功能,將資料儲存為向量嵌入,以便重複使用現有資料庫做為基礎解決方案。
儲存空間:儲存圖片、影片或靜態網頁前端等檔案。您也可以使用儲存空間來處理原始接地資料 (例如PDF 等),之後再轉換為嵌入項目並儲存在向量資料庫中。
以下各節將逐步介紹這些元件,協助您選擇要試用的 Google Cloud 產品。
應用程式代管基礎架構
選擇要代管及提供應用程式工作負載的產品,以便呼叫生成式模型。
模型代管基礎架構
Google Cloud 提供多種方法來代管生成式模型,包括旗艦 Vertex AI 平台,以及可自訂且可移植的 Google Kubernetes Engine 代管服務。
模型
Google Cloud 透過 Vertex AI 提供一組 先進的基礎模型 ,包括 Gemini。您也可以將第三方模型部署至 Vertex AI Model Garden ,或 在 GKE 、Cloud Run 或 Compute Engine 上自行主控。
建立基準和 RAG
為確保模型回覆內容準確且符合實際情況,請建立基準,讓生成式 AI 應用程式使用即時資料。這就是所謂的「檢索增強生成 (RAG)」。
如果您想產生以網路最新資訊為依據的內容,Gemini 模型可評估模型的知識是否足夠,或是否需要以 Google 搜尋建立基準。
您可以使用搜尋引擎的資料索引實作基準。許多搜尋引擎現在會將嵌入資料儲存在向量資料庫中,這是相似度搜尋等作業的最佳格式。 Google Cloud 提供多種向量資料庫解決方案,可用於不同用途。
注意:您可以查詢 Cloud SQL 或 Firestore 等現有資料庫,使用非向量資料庫進行歸零,並在模型提示中使用查詢結果。
您是否透過程式輔助方式存取資料 (OLTP)?是否已使用 SQL 資料庫?
想直接從資料庫使用 Google AI 模型嗎?是否需要低延遲?
使用 API 建立基準
Vertex AI Extensions (不公開預先發布版)
在 Vertex AI 中建立基準
開始建構
設定 LangChain
LangChain 是生成式 AI 應用程式的開放原始碼架構,可讓您在提示中加入情境,並根據模型回應採取行動。