Model yang didukung Mesin RAG Vertex AI

Halaman ini mencantumkan model Gemini, model yang di-deploy sendiri, dan model dengan API terkelola di Vertex AI yang mendukung Vertex AI RAG Engine.

Model Gemini

Tabel berikut mencantumkan model Gemini dan versinya yang mendukung Vertex AI RAG Engine:

Model Gemini yang di-fine-tune tidak didukung saat model Gemini menggunakan Vertex AI RAG Engine.

Model yang di-deploy sendiri

Mesin RAG Vertex AI mendukung semua model di Model Garden.

Gunakan Vertex AI RAG Engine dengan endpoint model terbuka yang di-deploy sendiri.

Ganti variabel yang digunakan dalam contoh kode:

  • PROJECT_ID: Project ID Anda.
  • LOCATION: Region untuk memproses permintaan Anda.

  • ENDPOINT_ID: ID endpoint Anda.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Model dengan API terkelola di Vertex AI

Model dengan API terkelola di Vertex AI yang mendukung Vertex AI RAG Engine mencakup:

Contoh kode berikut menunjukkan cara menggunakan Gemini GenerateContent API untuk membuat instance model generatif. ID model, /publisher/meta/models/llama-3.1-405B-instruct-maas, dapat ditemukan di kartu model.

Ganti variabel yang digunakan dalam contoh kode:

  • PROJECT_ID: Project ID Anda.
  • LOCATION: Region untuk memproses permintaan Anda.

  • RAG_RETRIEVAL_TOOL: Alat pengambilan RAG Anda.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

Contoh kode berikut menunjukkan cara menggunakan API ChatCompletions yang kompatibel dengan OpenAI untuk membuat respons model.

Ganti variabel yang digunakan dalam contoh kode:

  • PROJECT_ID: Project ID Anda.
  • LOCATION: Region untuk memproses permintaan Anda.
  • MODEL_ID: Model LLM untuk pembuatan konten. Contohnya, meta/llama-3.1-405b-instruct-maas.
  • INPUT_PROMPT: Teks yang dikirim ke LLM untuk pembuatan konten. Gunakan perintah yang relevan dengan dokumen di Vertex AI Search.
  • RAG_CORPUS_ID: ID resource korpus RAG.
  • ROLE: Peran Anda.
  • USER: Nama pengguna Anda.

  • CONTENT: Konten Anda.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

Langkah berikutnya