Grounding dengan Elasticsearch

Panduan ini menunjukkan cara mendasarkan model Gemini pada data Anda di Elasticsearch. Panduan ini mencakup topik berikut:

• Ringkasan perujukan dengan Elasticsearch: Pelajari manfaat perujukan dengan Elasticsearch dan model yang didukung.
• Menyiapkan template penelusuran di Elasticsearch: Konfigurasi template penelusuran di instance Elasticsearch Anda untuk menyiapkan data Anda untuk perujukan.
• Membuat respons berdasar dengan Elasticsearch: Gunakan konsol Google Cloud atau REST API untuk membuat respons model yang didasarkan pada data Elasticsearch Anda.

Diagram berikut merangkum alur kerja keseluruhan:

Ringkasan perujukan dengan Elasticsearch

Perujukan menggunakan set data publik dan pribadi untuk memberikan konteks dan fakta untuk merujuk respons Model Bahasa Besar (LLM). Dengan perujukan menggunakan Elasticsearch, Anda dapat menggunakan indeks Elasticsearch yang ada untuk meningkatkan kualitas dan keandalan output Gemini, mengurangi halusinasi, dan membantu memastikan respons relevan dengan data Anda.

Fitur ini memungkinkan Anda membuat aplikasi RAG yang canggih seperti berikut:

• Ringkasan penelusuran generatif
• Chatbot tanya jawab dengan data perusahaan
• Agen yang didasarkan pada data Anda

Anda dapat mendasarkan jawaban pada hingga 10 sumber data sekaligus. Anda dapat menggabungkan grounding dengan Elasticsearch dan Grounding dengan Google Penelusuran untuk menghubungkan model dengan informasi global, berbagai topik, atau informasi terbaru di internet.

Model yang didukung

Model berikut mendukung perujukan dengan Elasticsearch dengan input teks saja:

• Gemini 2.5 Flash-Lite
• Gemini 2.5 Flash dengan audio native Live API
  previewPratinjau
• Gemini 2.0 Flash dengan Live API
  previewPratinjau
• Gemini 2.5 Pro
• Gemini 2.5 Flash
• Gemini 2.0 Flash

Menyiapkan template penelusuran di Elasticsearch

Praktik terbaik

Untuk mendapatkan respons perujukan terbaik, ikuti prinsip berikut saat Anda membuat template penelusuran:

• Hanya sertakan data yang relevan dan berguna. Misalnya, dalam katalog produk, menentukan URL gambar mungkin tidak membantu LLM menjawab perintah tentang properti produk kecuali perintah tersebut secara khusus meminta URL. Demikian pula, hindari mengekspor vektor embedding.
• Memberikan jumlah hasil yang lebih banyak. Perujukan menghilangkan hasil Elasticsearch dengan relevansi rendah terhadap perintah Anda. Untuk mendapatkan semua konteks yang relevan, berikan jumlah hasil Elasticsearch yang lebih tinggi.
• Susun data Anda secara efektif. Data hasil dapat berada dalam satu kolom atau tersebar di beberapa kolom.

Contoh template

Anda dapat menggunakan template penelusuran Anda sendiri. Template penelusuran kNN generik berikut direkomendasikan untuk perujukan Elasticsearch. Untuk template penelusuran tambahan, lihat repositori GitHub.

Contoh berikut menunjukkan template penelusuran kNN generik untuk penelusuran semantik dengan Vertex AI.

    PUT _scripts/google-template-knn-multioutput
    {
      "script": {
        "lang": "mustache",
        "source": {
          "_source": {
            "excludes": [ "title_embedding", "description_embedding", "images"]
          },
            "size": "num_hits",
              "knn" : [
              {
                "field": "description_embedding",
                "k": 5,
                "num_candidates": 10,
                "query_vector_builder": {
                  "text_embedding": {
                    "model_id": "googlevertexai_embeddings_004",
                    "model_text": "query"
                  }
                },
                "boost": 0.4
              },
              {
                "field": "title_embedding",
                "k": 5,
                "num_candidates": 10,
                "query_vector_builder": {
                  "text_embedding": {
                    "model_id": "googlevertexai_embeddings_004",
                    "model_text": "query"
                }
              },
              "boost": 0.6
              }
              ]
        }
      }
    }

Membuat respons yang relevan dengan Elasticsearch

Anda dapat membuat respons berbasis data yang terpercaya menggunakan konsol Google Cloud untuk pengujian cepat atau REST API untuk integrasi ke dalam aplikasi Anda.

    {
      "contents": [
        {
          "role": "user",
          "parts": [
            {
              "text": "QUERY"
            }
          ]
        }
      ],
      "tools": [{
        "retrieval": {
          "externalApi": {
            "api_spec": "ELASTIC_SEARCH",
            "endpoint": "ELASTIC_SEARCH_ENDPOINT",
            "apiAuth": {
              "apiKeyConfig": {
                "apiKeyString": "ApiKey ELASTIC_SEARCH_API_KEY"
              }
            },
            "elasticSearchParams": {
              "index": "INDEX_NAME",
              "searchTemplate": "SEARCH_TEMPLATE_NAME",
              "numHits": "NUM_HITS",
            }
          }
        }
      }]
    }

  curl -X POST \
      -H "Authorization: Bearer $(gcloud auth print-access-token)" \
      -H "Content-Type: application/json; charset=utf-8" \
      -d @request.json \
  "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent"

  {
    "candidates": [
      {
        "content": {
          "role": "model",
          "parts": [
            {
              "text": "Based on the information ..."
            }
          ]
        },
        "finishReason": "STOP",
        "safetyRatings": [ "..." ],
        "groundingMetadata": {
          "groundingChunks": [
            {
              "retrievedContext": {
                "text": "ipsum lorem ..."
              }
            },
            {...},
            {...},
          ],
          "groundingSupports": [
            {
              "segment": {
                "startIndex": 25,
                "endIndex": 147,
                "text": "ipsum lorem ..."
              },
              "groundingChunkIndices": [1,2],
              "confidenceScores": [0.6626542, 0.82018316],
            },
          ],
        },
      }
    ],
  }

Memahami respons

Respons dari Vertex AI Studio atau API mencakup teks yang dihasilkan LLM, yang disebut kandidat. Jika perintah model Anda berhasil mendasarkan pada sumber data Elasticsearch, respons akan menyertakan metadata perujukan yang mengidentifikasi bagian respons yang berasal dari data Anda.

Namun, jika relevansi sumber rendah atau informasi tidak lengkap, metadata mungkin tidak diberikan, dan respons tidak akan memiliki rujukan.

Respons API berisi detail berikut:

• Peran: Menunjukkan pengirim jawaban. Untuk respons yang dihasilkan model, perannya adalah model.
• Teks: Jawaban yang dihasilkan oleh LLM.
• Metadata perujukan: Informasi tentang sumber perujukan, yang berisi elemen berikut:
  • Potongan perujukan: Daftar hasil dari indeks Elasticsearch Anda yang mendukung jawaban.
  • Dukungan perujukan: Informasi tentang klaim tertentu dalam jawaban yang dapat digunakan untuk menampilkan kutipan:
    • Segmen: Bagian jawaban model yang didukung oleh potongan perujukan.
    • Indeks potongan perujukan: Indeks potongan perujukan dalam daftar potongan perujukan yang sesuai dengan klaim ini.
    • Skor keyakinan: Angka dari 0 hingga 1 yang menunjukkan seberapa kuat klaim tersebut didasarkan pada kumpulan perujukan yang disediakan. Tidak tersedia untuk Gemini 2.5 Pro dan Gemini 2.5 Flash serta yang lebih baru.

Langkah berikutnya

• Untuk mempelajari cara mengirim permintaan prompt chat, lihat Chat multi-giliran.
• Untuk mempelajari praktik terbaik AI yang bertanggung jawab dan filter keamanan Vertex AI, lihat Praktik terbaik keamanan.