Memahami data Anda

Halaman ini menjelaskan cara me-grounding respons menggunakan data Anda dari Vertex AI Search.

Menghubungkan Gemini ke data Anda

Jika Anda ingin melakukan retrieval-augmented generation (RAG), hubungkan model Anda ke data situs atau kumpulan dokumen Anda, lalu gunakan Grounding dengan Vertex AI Search.

Grounding ke data Anda mendukung maksimal 10 sumber data Vertex AI Search dan dapat digabungkan dengan Grounding dengan Google Penelusuran.

Model yang didukung

Bagian ini mencantumkan model yang mendukung grounding dengan data Anda.

Prasyarat

Sebelum Anda dapat men-grounding output model ke data Anda, lakukan hal berikut:

  1. Di Google Cloud console, buka halaman IAM, lalu telusuri izin discoveryengine.servingConfigs.search, yang diperlukan agar layanan pembumian berfungsi.

    Buka IAM

  2. Aktifkan Aplikasi AI dan aktifkan API.

  3. Buat sumber data dan aplikasi Aplikasi AI.

Lihat Pengantar Vertex AI Search untuk mengetahui informasi selengkapnya.

Mengaktifkan Aplikasi AI

  1. Di Google Cloud console, buka halaman AI Applications.

    Aplikasi AI

  2. Baca dan setujui persyaratan layanan, lalu klik Continue and activate the API.

Aplikasi AI tersedia di lokasi global, atau multi-region eu dan us. Untuk mempelajari lebih lanjut, lihat Lokasi Aplikasi AI

Membuat penyimpanan data di Aplikasi AI

Untuk membuat penyimpanan data di Aplikasi AI, Anda dapat memilih untuk melakukan grounding dengan data atau dokumen situs.

Situs

  1. Buka halaman Create Data Store dari Google Cloud console.

  2. Di kotak Website Content, klik Select.
    Panel Specify the websites for your data store akan ditampilkan.

  3. Jika Advanced website indexing tidak dicentang, centang kotak Advanced website indexing untuk mengaktifkannya.
    Panel Configure your data store akan ditampilkan.

  4. Di bagian Tentukan pola URL yang akan diindeks, lakukan tindakan berikut:

    • Tambahkan URL untuk Situs yang akan disertakan.
    • Opsional: Tambahkan URL untuk Situs yang akan dikecualikan.
  5. Klik Lanjutkan.

  6. Di panel Configure your data store,

    1. Pilih nilai dari daftar Lokasi penyimpanan data Anda.
    2. Masukkan nama di kolom Nama penyimpanan data Anda. ID akan dibuat. Gunakan ID ini saat Anda membuat respons yang relevan dengan penyimpanan data Anda. Untuk informasi selengkapnya, lihat Membuat respons yang beralasan dengan penyimpanan data Anda.
    3. Klik Buat.

Dokumen

  1. Buka halaman Create Data Store dari Google Cloud console.

  2. Di kotak Cloud Storage, klik Select.
    Panel Import data from Cloud Storage akan ditampilkan.

  3. Di bagian Dokumen tidak terstruktur (PDF, HTML, TXT, dan lainnya), pilih Dokumen tidak terstruktur (PDF, HTML, TXT, dan lainnya).

  4. Pilih opsi Frekuensi sinkronisasi.

  5. Pilih opsi Pilih folder atau file yang ingin Anda impor, lalu masukkan jalur di kolom.

  6. Klik Lanjutkan.
    Panel Konfigurasikan penyimpanan data Anda akan ditampilkan.

  7. Di panel Configure your data store,

    1. Pilih nilai dari daftar Lokasi penyimpanan data Anda.
    2. Masukkan nama di kolom Nama penyimpanan data Anda. ID akan dibuat.
    3. Untuk memilih opsi penguraian dan pengelompokan untuk dokumen Anda, luaskan bagian Document Processing Options. Untuk informasi selengkapnya tentang parser yang berbeda, lihat Mengurai dokumen.
    4. Klik Buat.
  8. Klik Buat.

Membuat respons yang relevan dengan penyimpanan data Anda

Gunakan petunjuk berikut untuk melandasi model dengan data Anda. Maksimum 10 penyimpanan data didukung.

Jika Anda tidak mengetahui ID penyimpanan data, ikuti langkah-langkah berikut:

  1. Di Google Cloud console, buka halaman AI Applications dan di menu navigasi, klik Data stores.

    Buka halaman Data stores

  2. Klik nama penyimpanan data Anda.

  3. Di halaman Data untuk penyimpanan data Anda, dapatkan ID penyimpanan data.

Konsol

Untuk mem-ground output model Anda ke Aplikasi AI menggunakan Vertex AI Studio di konsolGoogle Cloud , ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Vertex AI Studio Freeform.

    Buka Format Bebas

  2. Untuk mengaktifkan pembumian, klik tombol Pembumian: data Anda.
  3. Klik Customize.
    1. Pilih Vertex AI Search sebagai sumber Anda.
    2. Dengan menggunakan format jalur ini, ganti Project ID penyimpanan data dan ID penyimpanan data:

      projects/project_id/locations/global/collections/default_collection/dataStores/data_store_id.

  4. Klik Simpan.
  5. Masukkan perintah Anda di kotak teks, lalu klik Kirim.

Respons perintah Anda didasarkan pada Aplikasi AI.

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Python Vertex AI.

Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

from google import genai
from google.genai.types import (
    GenerateContentConfig,
    HttpOptions,
    Retrieval,
    Tool,
    VertexAISearch,
)

client = genai.Client(http_options=HttpOptions(api_version="v1"))

# Load Data Store ID from Vertex AI Search
# datastore = "projects/111111111111/locations/global/collections/default_collection/dataStores/data-store-id"

response = client.models.generate_content(
    model="gemini-2.0-flash-001",
    contents="How do I make an appointment to renew my driver's license?",
    config=GenerateContentConfig(
        tools=[
            # Use Vertex AI Search Tool
            Tool(
                retrieval=Retrieval(
                    vertex_ai_search=VertexAISearch(
                        datastore=datastore,
                    )
                )
            )
        ],
    ),
)

print(response.text)
# Example response:
# 'The process for making an appointment to renew your driver's license varies depending on your location. To provide you with the most accurate instructions...'

REST

Untuk menguji prompt teks menggunakan Vertex AI API, kirim permintaan POST ke endpoint model penayang.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION: Region untuk memproses permintaan.
  • PROJECT_ID: Project ID Anda.
  • MODEL_ID: ID model model multimodal.
  • TEXT: Petunjuk teks yang akan disertakan dalam perintah.

Metode HTTP dan URL:

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent

Meminta isi JSON:

{
  "contents": [{
    "role": "user",
    "parts": [{
      "text": "TEXT"
    }]
  }],
  "tools": [{
    "retrieval": {
      "vertexAiSearch": {
        "datastore": projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID
      }
    }
  }],
  "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID"
}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

Anda akan melihat respons JSON seperti berikut:

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "text": "You can make an appointment on the website https://dmv.gov/"
          }
        ]
      },
      "finishReason": "STOP",
      "safetyRatings": [
        "..."
      ],
      "groundingMetadata": {
        "retrievalQueries": [
          "How to make appointment to renew driving license?"
        ],
        "groundingChunks": [
          {
            "retrievedContext": {
              "uri": "https://vertexaisearch.cloud.google.com/grounding-api-redirect/AXiHM.....QTN92V5ePQ==",
              "title": "dmv"
            }
          }
        ],
        "groundingSupport": [
          {
            "segment": {
              "startIndex": 25,
              "endIndex": 147
            },
            "segment_text": "ipsum lorem ...",
            "supportChunkIndices": [1, 2],
            "confidenceScore": [0.9541752, 0.97726375]
          },
          {
            "segment": {
              "startIndex": 294,
              "endIndex": 439
            },
            "segment_text": "ipsum lorem ...",
            "supportChunkIndices": [1],
            "confidenceScore": [0.9541752, 0.9325467]
          }
        ]
      }
    }
  ],
  "usageMetadata": {
    "..."
  }
}

Memahami respons Anda

Respons dari kedua API tersebut menyertakan teks yang dihasilkan LLM, yang disebut kandidat. Jika perintah model Anda berhasil dihubungkan ke sumber data Elasticsearch, respons akan menyertakan metadata grounding, yang mengidentifikasi bagian respons yang berasal dari data Elasticsearch Anda. Namun, ada beberapa alasan metadata ini mungkin tidak diberikan, dan respons prompt tidak akan didasarkan. Alasan ini mencakup relevansi sumber yang rendah atau informasi yang tidak lengkap dalam respons model.

Berikut adalah pengelompokan data output:

  • Peran: Menunjukkan pengirim jawaban yang berdasar. Karena respons selalu berisi teks yang dirujuk, perannya selalu model.
  • Teks: Jawaban yang di-grounding yang dihasilkan oleh LLM.
  • Metadata pentanahan: Informasi tentang sumber pentanahan, yang berisi elemen berikut:
    • Potongan dasar: Daftar hasil dari indeks Elasticsearch Anda yang mendukung jawaban.
    • Dukungan grounding: Informasi tentang klaim tertentu dalam jawaban yang dapat digunakan untuk menampilkan kutipan:
    • Segmen: Bagian dari jawaban model yang dibuktikan oleh bagian dasar.
    • Indeks chunk ground: Indeks chunk ground dalam daftar chunk ground yang sesuai dengan klaim ini.
    • Skor keyakinan: Angka dari 0 hingga 1 yang menunjukkan seberapa kuat klaim dalam kumpulan bagian dasar yang diberikan.

Langkah berikutnya