Vertex AI RAG 引擎支援的模型

本頁面列出 Vertex AI 中支援 Vertex AI RAG Engine 的 Gemini 模型、自行部署模型，以及含有受管理 API 的模型。

Gemini 模型

下表列出支援 Vertex AI RAG 引擎的 Gemini 型號及其版本：

自行部署的模型

Vertex AI RAG 引擎支援 Model Garden 中的所有模型。

搭配自行部署的開放式模型端點使用 Vertex AI RAG 引擎。

替換程式碼範例中使用的變數：

  • PROJECT_ID：您的專案 ID。
  • LOCATION：處理要求的區域。

  • ENDPOINT_ID：端點 ID。

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

在 Vertex AI 上使用含有受管理 API 的模型

在 Vertex AI 上，支援 Vertex AI RAG 引擎的管理式 API 模型包括：

以下程式碼範例示範如何使用 Gemini GenerateContent API 建立生成式模型例項。您可以在模型資訊卡中找到模型 ID /publisher/meta/models/llama-3.1-405B-instruct-maas。

替換程式碼範例中使用的變數：

  • PROJECT_ID：您的專案 ID。
  • LOCATION：處理要求的區域。

  • RAG_RETRIEVAL_TOOL：RAG 檢索工具。

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

以下程式碼範例示範如何使用與 OpenAI 相容的 ChatCompletions API 產生模型回應。

替換程式碼範例中使用的變數：

  • PROJECT_ID：您的專案 ID。
  • LOCATION：處理要求的區域。
  • MODEL_ID：用於產生內容的大型語言模型。例如：meta/llama-3.1-405b-instruct-maas。
  • INPUT_PROMPT：傳送至大型語言模型的文字，用於產生內容。使用與 Vertex AI Search 中文件相關的提示。
  • RAG_CORPUS_ID：RAG 語料庫資源的 ID。
  • ROLE：您的角色。
  • USER：您的使用者名稱。

  • CONTENT：您的內容。

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

後續步驟