Memeriksa grounding dengan RAG

Sebagai bagian dari pengalaman Retrieval Augmented Generation (RAG) di Aplikasi AI, Anda dapat memeriksa perujukan untuk menentukan seberapa kuat perujukan sebuah teks (yang disebut kandidat jawaban) dalam sekumpulan teks referensi tertentu (yang disebut fakta).

Check Grounding API menampilkan skor dukungan keseluruhan 0 hingga 1, yang menunjukkan seberapa besar kandidat jawaban setuju dengan fakta yang diberikan. Respons juga menyertakan kutipan untuk fakta yang mendukung setiap klaim dalam kandidat jawaban.

Perujukan sempurna mengharuskan setiap klaim dalam kandidat jawaban harus didukung oleh satu atau beberapa fakta yang diberikan. Dengan kata lain, klaim tersebut sepenuhnya diperlukan oleh fakta. Jika klaim hanya sebagian yang tercakup, klaim tersebut tidak dianggap memiliki rujukan. Misalnya, klaim "Google didirikan oleh Larry Page dan Sergey Brin pada tahun 1975" hanya sebagian benar—nama pendirinya benar, tetapi tanggalnya salah—dan dengan demikian, seluruh klaim dianggap tidak berdasar. Dalam versi API perujukan ini, sebuah kalimat dianggap sebagai satu klaim.

Anda dapat menggunakan API pemeriksaan perujukan untuk memeriksa teks apa pun. Respons dapat berupa deskripsi yang dibuat oleh manusia atau respons yang dibuat oleh mesin. Kasus penggunaan yang umum adalah memeriksa respons yang dihasilkan LLM berdasarkan sekumpulan fakta tertentu. API perujukan dirancang agar cepat, dengan latensi kurang dari 500 md. Kecepatan ini memungkinkan chatbot memanggil API perujukan pemeriksaan selama setiap inferensi, tanpa menyebabkan perlambatan yang signifikan. Check Grounding API juga dapat memberikan referensi untuk mendukung temuannya, sehingga pengguna dapat mengetahui bagian mana dari respons yang dihasilkan yang dapat diandalkan. API ini juga memberikan skor dukungan untuk menunjukkan akurasi keseluruhan respons. Dengan menetapkan nilai minimum kutipan, chatbot dapat memfilter respons pada waktu inferensi yang cenderung berisi klaim halusinasi.

Halaman ini menjelaskan cara memeriksa perujukan menggunakan API pemeriksaan perujukan.

Fitur eksperimental

Jika Anda ingin mencoba fitur eksperimental berikut yang tersedia untuk Check Grounding API, hubungi tim akun Google Anda dan minta untuk ditambahkan ke daftar yang diizinkan:

• Anti-kutipan: Fitur anti-kutipan memberi Anda skor kontradiksi yang menunjukkan seberapa besar kandidat jawaban bertentangan dengan fakta yang diberikan. Respons juga menyertakan kutipan ke fakta yang bertentangan untuk setiap klaim. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan skor kontradiksi untuk kandidat jawaban.

• Skor kegunaan: Skor kegunaan adalah ukuran seberapa baik kandidat jawaban menjawab permintaan tertentu. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan skor kegunaan untuk kandidat jawaban.

• Merujuk dengan penyimpanan data: Mendapatkan fakta perujukan dari penyimpanan data Vertex AI Search, bukan memberikan fakta inline. Untuk mengetahui informasi selengkapnya, lihat Memeriksa perujukan dengan penyimpanan data.

Istilah yang ditentukan dan dijelaskan

Sebelum menggunakan API periksa perujukan, sebaiknya pahami input dan output, serta cara menyusun fakta perujukan untuk mendapatkan hasil terbaik.

Data input

API perujukan pemeriksaan memerlukan input berikut dalam permintaan.

• Kandidat jawaban: Kandidat jawaban dapat berupa teks apa pun yang ingin Anda periksa perujukan (grounding). Misalnya, dalam konteks Vertex AI Search, kandidat jawaban dapat berupa ringkasan penelusuran yang dihasilkan yang menjawab kueri. Kemudian, API akan menentukan seberapa kuat ringkasan tersebut didasarkan pada fakta input. Kandidat jawaban dapat memiliki panjang maksimum 4.096 token, dengan token didefinisikan sebagai kata dalam kalimat atau titik (tanda baca yang digunakan untuk mengakhiri kalimat). Misalnya, kalimat "Mereka mengenakan pakaian siap pakai pada tahun 2024." terdiri dari tujuh token, termasuk enam kata dan satu titik.

• Fakta: Sekumpulan segmen teks yang akan digunakan sebagai referensi untuk perujukan. Serangkaian atribut metadata (key-value pair) dapat diberikan dengan setiap segmen teks. Misalnya, "Penulis" dan "Judul" adalah kunci atribut umum.

  Layanan ini mendukung hingga 200 fakta, yang masing-masing memiliki maksimum 10 ribu karakter.

  Google tidak merekomendasikan penyediaan satu fakta yang sangat besar yang berisi semua informasi. Sebagai gantinya, Anda bisa mendapatkan hasil yang lebih baik dengan memecah fakta besar menjadi fakta yang lebih kecil dan memberikan atribut yang sesuai untuk fakta yang lebih kecil tersebut. Misalnya, Anda dapat memecah fakta besar berdasarkan judul, penulis, atau URL, dan memberikan informasi ini dalam atribut.

• Nilai minimum kutipan: Nilai float dari 0 hingga 1 yang mengontrol keyakinan untuk kutipan yang mendukung kandidat jawaban. Nilai minimum yang lebih tinggi menerapkan keyakinan yang lebih ketat. Oleh karena itu, nilai minimum yang lebih tinggi menghasilkan kutipan yang lebih sedikit, tetapi lebih kuat.

Data output

Check Grounding API menampilkan hal berikut untuk kandidat jawaban:

• Skor dukungan: Skor dukungan adalah angka dari 0 hingga 1 yang menunjukkan seberapa berdasar kandidat jawaban dalam kumpulan fakta yang diberikan. Nilai ini memperkirakan secara longgar fraksi klaim dalam kandidat jawaban yang ditemukan didasarkan pada satu atau beberapa fakta yang diberikan.

• Potongan yang dikutip: Potongan yang dikutip adalah bagian dari fakta input yang mendukung kandidat jawaban.

• Klaim dan kutipan: Klaim dan kutipan menghubungkan klaim (biasanya kalimat) kandidat jawaban dengan satu atau beberapa bagian yang dikutip yang menguatkan klaim tersebut.

  Klaim dibatasi menggunakan posisi awal dan akhirnya. Ini adalah posisi byte string klaim berenkode UTF-8. Perhatikan bahwa hal ini tidak diukur dalam karakter dan oleh karena itu, harus dirender di antarmuka pengguna dengan mengingat bahwa beberapa karakter memerlukan lebih dari satu byte. Misalnya, jika teks klaim berisi karakter non-ASCII, posisi awal dan akhir akan bervariasi jika diukur dalam karakter (bergantung pada bahasa pemrograman) dan jika diukur dalam byte (tidak bergantung pada bahasa pemrograman).

• Skor dukungan tingkat klaim: Jika skor tingkat klaim diaktifkan, dengan setiap klaim, skor dukungan akan ditampilkan sebagai angka dari 0 hingga 1 yang menunjukkan seberapa kuat klaim tersebut didasarkan pada kumpulan fakta yang diberikan. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan skor tingkat klaim untuk kandidat jawaban.

• Pemeriksaan perujukan diperlukan: Dengan setiap klaim, nilai boolean grounding-check-required akan ditampilkan. Jika nilai yang ditampilkan adalah False, artinya sistem menganggap bahwa klaim tidak memerlukan perujukan, dan, oleh karena itu, kutipan dan anti-kutipan tidak ditampilkan. Misalnya, kalimat seperti "Berikut hasil yang saya temukan" bukanlah fakta itu sendiri dan oleh karena itu, tidak memerlukan pemeriksaan perujukan.

  Jika grounding-check-required ditampilkan sebagai true, artinya pemeriksaan perujukan telah dilakukan dan skor dukungan, kutipan, dan anti-kutipan, jika ada, akan ditampilkan.

Mendapatkan skor dukungan untuk kandidat jawaban

Untuk mengetahui seberapa kuat kandidat jawaban didasarkan pada sekumpulan fakta, ikuti langkah-langkah berikut:

1. Siapkan kumpulan fakta Anda. Untuk informasi dan contoh selengkapnya, lihat Istilah yang ditentukan dan dijelaskan.

2. Panggil metode check menggunakan kode berikut:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
-d '{
  "answerCandidate": "CANDIDATE",
  "facts": [
  {
    "factText": "TEXT_0",
    "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
  },
  {
    "factText": "TEXT_1",
    "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
  },
  {
    "factText": "TEXT_2",
    "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
  }
  ],
  "groundingSpec": {
    "citationThreshold": "CITATION_THRESHOLD"
  }
}'

from google.cloud import discoveryengine_v1 as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"

client = discoveryengine.GroundedGenerationServiceClient()

# The full resource name of the grounding config.
# Format: projects/{project_id}/locations/{location}/groundingConfigs/default_grounding_config
grounding_config = client.grounding_config_path(
    project=project_id,
    location="global",
    grounding_config="default_grounding_config",
)

request = discoveryengine.CheckGroundingRequest(
    grounding_config=grounding_config,
    answer_candidate="Titanic was directed by James Cameron. It was released in 1997.",
    facts=[
        discoveryengine.GroundingFact(
            fact_text=(
                "Titanic is a 1997 American epic romantic disaster movie. It was directed, written,"
                " and co-produced by James Cameron. The movie is about the 1912 sinking of the"
                " RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released"
                " on December 19, 1997. It received positive critical reviews. The movie won 11 Academy"
                " Awards, and was nominated for fourteen total Academy Awards."
            ),
            attributes={"author": "Simple Wikipedia"},
        ),
        discoveryengine.GroundingFact(
            fact_text=(
                'James Cameron\'s "Titanic" is an epic, action-packed romance'
                "set against the ill-fated maiden voyage of the R.M.S. Titanic;"
                "the pride and joy of the White Star Line and, at the time,"
                "the largest moving object ever built. "
                'She was the most luxurious liner of her era -- the "ship of dreams" -- '
                "which ultimately carried over 1,500 people to their death in the "
                "ice cold waters of the North Atlantic in the early hours of April 15, 1912."
            ),
            attributes={"author": "Simple Wikipedia"},
        ),
    ],
    grounding_spec=discoveryengine.CheckGroundingSpec(citation_threshold=0.6),
)

response = client.check_grounding(request=request)

# Handle the response
print(response)

Contoh fakta

Berikut adalah beberapa contoh fakta dan atributnya. Contoh-contoh ini akan membantu Anda memahami respons perujukan dan format perintah curl.

• Fakta 0

  • Teks: "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards."

  • Atribut: {"Author": "Simple Wikipedia"}

• Fakta 1

  • Teks: "James Cameron's "Titanic" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the "ship of dreams" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912."

  • Atribut: {"Author": "Rotten Tomatoes"}

Contoh permintaan

Setelah menyiapkan fakta, Anda dapat mengirim permintaan berikut, dengan mengganti kolom CANDIDATE dengan string berbeda yang ingin Anda periksa perujukan faktanya.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6"
    }
    }'

Contoh kandidat jawaban dan respons perujukan

Tabel berikut menunjukkan contoh berbagai kandidat jawaban dan respons saat Anda mengirim permintaan contoh, berdasarkan fakta contoh.

Mendapatkan skor tingkat klaim untuk kandidat jawaban

Selain skor dukungan tingkat jawaban, Anda dapat memperoleh skor dukungan tingkat klaim untuk setiap klaim dalam kandidat jawaban.

Untuk mendapatkan skor tingkat klaim, ikuti langkah-langkah berikut:

1. Siapkan kumpulan fakta Anda. Untuk informasi dan contoh selengkapnya, lihat Istilah yang ditentukan dan dijelaskan.

2. Panggil metode check, menggunakan perintah curl berikut:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
   -d '{
   "answerCandidate": "CANDIDATE",
   "facts": [
    {
     "factText": "TEXT_0",
     "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
    },
    {
     "factText": "TEXT_1",
     "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
    },
    {
     "factText": "TEXT_2",
     "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
    },
   ],
   "groundingSpec": {
     "citationThreshold": "CITATION_THRESHOLD",
     "enableClaimLevelScore": "ENABLE_CLAIM_LEVEL_SCORE",
   }
   }'
   

   Ganti kode berikut:

   • PROJECT_ID: nomor atau ID project Google Cloud project Anda.

   • CANDIDATE: string kandidat jawaban yang ingin Anda peroleh skor dukungannya—misalnya, Titanic was directed by James Cameron. It was released in 1997.. Kandidat jawaban dapat memiliki panjang maksimum 4.096 token, dengan token ditentukan sebagai kata dalam kalimat atau titik (tanda baca yang digunakan untuk mengakhiri kalimat). Misalnya, kalimat "Mereka mengenakan pakaian siap pakai pada tahun 2024" terdiri dari tujuh token, termasuk enam kata dan satu titik.

   • TEXT: segmen teks yang akan digunakan untuk perujukan—misalnya, Titanic is a 1997 American epic... Academy Awards. (Lihat teks lengkapnya di Contoh fakta.)

   • ATTRIBUTE: nama atribut metadata yang terkait dengan fakta—misalnya, author atau title. Label yang ditentukan pengguna ini digunakan untuk menambahkan informasi lebih lanjut ke teks fakta. Misalnya, jika teks fakta Toronto is the capital of Ontario memiliki atribut author dengan nilainya sebagai Wikipedia, maka klaim berikut memiliki dasar yang kuat:

     • Wikipedia cites that Toronto is the capital of Ontario
     • Toronto is the capital of Ontario

     Namun, klaim bahwa Government of Ontario claims that Toronto is the capital of Ontario tidak memiliki dasar yang kuat.

   • VALUE: nilai untuk atribut—misalnya, Simple Wikipedia atau Titanic (1997 film).

   • CITATION_THRESHOLD: nilai float dari 0 hingga 1 yang menentukan apakah fakta harus dikutip untuk klaim dalam kandidat jawaban. Nilai minimum yang lebih tinggi akan menghasilkan kutipan yang lebih sedikit tetapi lebih kuat untuk mendukung klaim, dan nilai minimum yang lebih rendah akan menghasilkan kutipan yang lebih banyak tetapi lebih lemah. Jika tidak ditetapkan, nilai minimum defaultnya adalah 0,6.

   • ENABLE_CLAIM_LEVEL_SCORE: nilai boolean. Tetapkan kolom ini ke true untuk mengaktifkan fitur skor tingkat klaim. Untuk menonaktifkan fitur ini, hapus kolom ini atau tetapkan kolom ini ke false.

Contoh permintaan

Dengan menggunakan contoh fakta dari bagian sebelumnya, Anda dapat mengirim permintaan berikut. Ganti kolom CANDIDATE dengan string berbeda yang perujukan per-klaimnya ingin Anda periksa.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6",
      "enableClaimLevelScore": true,
    }
    }'

Contoh respons dengan skor tingkat klaim

Tabel berikut menunjukkan contoh kandidat jawaban dan responsnya saat Anda mengirim permintaan contoh, berdasarkan contoh fakta.

Mendapatkan skor kontradiksi untuk kandidat jawaban

Selain skor dukungan, Anda juga dapat memperoleh skor pertentangan. Skor kontradiksi secara longgar memperkirakan fraksi klaim yang bertentangan dengan fakta yang diberikan.

Untuk mencoba fitur Eksperimental ini, hubungi tim akun Google Anda dan minta untuk ditambahkan ke daftar yang diizinkan.

Mendapatkan skor kontradiksi

Untuk mendapatkan skor kontradiksi, ikuti langkah-langkah berikut:

1. Siapkan kumpulan fakta Anda. Untuk informasi dan contoh selengkapnya, lihat Istilah yang ditentukan dan dijelaskan.

2. Panggil metode check, menggunakan perintah curl berikut:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
   -d '{
   "answerCandidate": "CANDIDATE",
   "facts": [
    {
     "factText": "TEXT_0",
     "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
    },
    {
     "factText": "TEXT_1",
     "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
    },
    {
     "factText": "TEXT_2",
     "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
    },
   ],
   "groundingSpec": {
     "citationThreshold": "CITATION_THRESHOLD",
     "enableAntiCitations": "ENABLE_ANTI_CITATION",
     "antiCitationThreshold": "ANTI_CITATION_THRESHOLD",
   }
   }'
   

   Ganti kode berikut:

   • PROJECT_ID: nomor atau ID project Google Cloud project Anda.

   • CANDIDATE: string kandidat jawaban yang ingin Anda peroleh skor dukungannya—misalnya, Titanic was directed by James Cameron. It was released in 1997.. Kandidat jawaban dapat memiliki panjang maksimum 4.096 token, dengan token ditentukan sebagai kata dalam kalimat atau titik (tanda baca yang digunakan untuk mengakhiri kalimat). Misalnya, kalimat "Mereka mengenakan pakaian siap pakai pada tahun 2024" terdiri dari tujuh token, termasuk enam kata dan satu titik.

   • TEXT: segmen teks yang akan digunakan untuk perujukan—misalnya, Titanic is a 1997 American epic... Academy Awards. (Lihat teks lengkapnya di Contoh fakta.)

   • ATTRIBUTE: nama atribut metadata yang terkait dengan fakta—misalnya, author atau title. Label yang ditentukan pengguna ini digunakan untuk menambahkan informasi lebih lanjut ke teks fakta. Misalnya, jika teks fakta Toronto is the capital of Ontario memiliki atribut author dengan nilainya sebagai Wikipedia, maka klaim berikut memiliki dasar yang kuat:

     • Wikipedia cites that Toronto is the capital of Ontario
     • Toronto is the capital of Ontario

     Namun, klaim bahwa Government of Ontario claims that Toronto is the capital of Ontario tidak memiliki dasar yang kuat.

   • VALUE: nilai untuk atribut—misalnya, Simple Wikipedia atau Titanic (1997 film).

   • CITATION_THRESHOLD: nilai float dari 0 hingga 1 yang menentukan apakah fakta harus dikutip untuk klaim dalam kandidat jawaban. Nilai minimum yang lebih tinggi menghasilkan kutipan yang lebih sedikit tetapi kuat untuk mendukung klaim, dan nilai minimum yang lebih rendah menghasilkan kutipan yang lebih banyak tetapi kurang kuat untuk mendukung klaim. Jika tidak ditetapkan, nilai minimum defaultnya adalah 0,6.

   • ENABLE_ANTI_CITATION: nilai boolean. Tetapkan kolom ini ke true untuk mengaktifkan fitur eksperimental guna mengevaluasi skor kontradiksi. Hapus kolom ini atau tetapkan kolom ini ke false untuk menonaktifkan fitur ini.

   • ANTI_CITATION_THRESHOLD: nilai float dari 0 hingga 1 yang menentukan apakah fakta harus dikutip sebagai bertentangan dengan klaim dalam kandidat jawaban. Nilai minimum yang lebih tinggi menghasilkan lebih sedikit kutipan yang lebih kuat yang bertentangan dengan klaim, dan nilai minimum yang lebih rendah menghasilkan lebih banyak kutipan yang lebih lemah yang bertentangan dengan klaim. Jika tidak ditetapkan, nilai batas defaultnya adalah 0,8.

Contoh permintaan

Dengan menggunakan contoh fakta dari bagian sebelumnya, Anda dapat mengirim permintaan berikut. Ganti kolom CANDIDATE dengan string berbeda yang ingin Anda periksa perujukan dan kontradiksinya.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6",
      "enableAntiCitations": true,
      "antiCitationThreshold": "0.8",
    }
    }'

Contoh respons dengan kontradiksi

Tabel berikut menunjukkan contoh kandidat jawaban dan responsnya saat Anda mengirim permintaan contoh, berdasarkan contoh fakta.

Mendapatkan skor kegunaan untuk kandidat jawaban

Untuk mencoba fitur Eksperimental ini, hubungi tim akun Google Anda dan minta untuk ditambahkan ke daftar yang diizinkan.

Selain skor dukungan dan skor kontradiksi, API perujukan pemeriksaan dapat memberikan skor kegunaan. Respons yang bermanfaat adalah respons yang secara efektif memenuhi permintaan pengguna (seperti yang dinyatakan dalam perintah) dengan cara yang informatif. Skor kegunaan adalah ukuran seberapa baik respons melakukan hal berikut:

• Menangani maksud utama perintah
• Memberikan detail lengkap sekaligus ringkas
• Menjawab langsung pertanyaan yang diajukan atau menyelesaikan tugas yang diminta dalam perintah
• Menawarkan informasi yang relevan
• Jelas dan mudah dipahami
• Menghindari detail dan jargon yang tidak perlu

Untuk mendapatkan skor kegunaan bersama dengan skor perujukan, Anda harus memberikan perintah bersama dengan kandidat jawaban dan fakta. Check grounding API meninjau kandidat jawaban dengan perintah dan memberikan skor yang menunjukkan seberapa bermanfaat kandidat jawaban tersebut menjawab perintah. Skor berada dalam rentang [0,1] dengan makin besar skornya, makin bermanfaat jawabannya.

Mendapatkan skor kegunaan

Untuk mendapatkan skor kegunaan, ikuti langkah-langkah berikut:

1. Siapkan perintah dan jawaban kandidat Anda.

2. Panggil metode check, menggunakan perintah curl berikut:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
   -d '{
   "answerCandidate": "CANDIDATE",
   "facts": [
   {
     "factText": "TEXT_0",
     "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
   },
   {
     "factText": "TEXT_1",
     "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
   },
   {
     "factText": "TEXT_2",
     "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
   }
   ],
   "groundingSpec": {
     "enableHelpfulnessScore": true
   },
   "prompt": "PROMPT",
   }'
   

   Ganti kode berikut:

   • PROJECT_ID: nomor atau ID project Google Cloud project Anda.

   • CANDIDATE: string kandidat jawaban yang ingin Anda peroleh skor kegunaannya—misalnya, Titanic was directed by James Cameron. It was released in 1997.. Kandidat jawaban dapat memiliki panjang maksimum 4.096 token.

   • TEXT: segmen teks yang akan digunakan untuk perujukan—misalnya, Titanic is a 1997 American epic... Academy Awards. (Lihat teks lengkapnya di Contoh fakta.)

   • ATTRIBUTE: nama atribut metadata yang terkait dengan fakta—misalnya, author atau title. Label yang ditentukan pengguna ini digunakan untuk menambahkan informasi lebih lanjut ke teks fakta. Misalnya, jika teks fakta Toronto is the capital of Ontario memiliki atribut author dengan nilainya sebagai Wikipedia, maka klaim berikut memiliki dasar yang kuat:

     • Wikipedia cites that Toronto is the capital of Ontario
     • Toronto is the capital of Ontario

     Namun, klaim bahwa Government of Ontario claims that Toronto is the capital of Ontario tidak memiliki dasar yang kuat.

   • VALUE: nilai untuk atribut—misalnya, Simple Wikipedia atau Titanic (1997 film).

   • PROMPT: perintah adalah kueri yang telah dibuat oleh kandidat jawaban untuk dijawab—misalnya, Who directed and starred in the movie Titanic?.

Contoh permintaan

Dengan menggunakan contoh fakta dari bagian sebelumnya, Anda dapat mengirim permintaan berikut. Ganti kolom CANDIDATE dengan kandidat jawaban yang berbeda untuk mendapatkan skor kegunaan jawaban.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "enableHelpfulnessScore": true
    },
    "prompt": "Who directed and starred in the movie Titanic?"
    }'

Contoh respons dengan skor kegunaan

Tabel berikut menampilkan contoh kandidat jawaban dengan skor kegunaannya. Dalam setiap kasus, perintahnya adalah Who directed and starred in the Titanic?

Memeriksa perujukan dengan penyimpanan data

Secara default, perujukan diperiksa berdasarkan serangkaian fakta yang disediakan secara inline dalam panggilan API periksa perujukan. Namun, sebagai alternatif untuk memberikan fakta secara inline, Anda dapat memeriksa kandidat jawaban terhadap semua fakta di penyimpanan data Vertex AI Search.

Saat memanggil API pemeriksaan perujukan, Anda memberikan nama aplikasi penelusuran Vertex AI. Selanjutnya, penyimpanan data tidak terstruktur yang terkait dengan aplikasi penelusuran tersebut menyimpan sekumpulan fakta yang digunakan untuk memeriksa perujukan kandidat jawaban.

Untuk mencoba fitur Eksperimental ini, hubungi tim akun Google Anda dan minta untuk ditambahkan ke daftar yang diizinkan.

Untuk memeriksa perujukan terhadap penyimpanan data, ikuti langkah-langkah berikut:

1. Identifikasi aplikasi penelusuran kustom yang terkait dengan setidaknya satu penyimpanan data yang berisi data tidak terstruktur. Dokumen dalam penyimpanan data ini berfungsi sebagai sumber untuk fakta perujukan Anda.

   Untuk mengetahui cara membuat penyimpanan data dan aplikasi penelusuran, lihat Membuat penyimpanan data penelusuran dan Membuat aplikasi penelusuran.

2. Temukan ID aplikasi Anda. Jika Anda sudah memiliki ID aplikasi, lanjutkan ke langkah berikutnya.

   1. Di konsol Google Cloud , buka halaman AI Applications.

      Buka Aplikasi

   2. Di halaman Aplikasi, temukan nama aplikasi Anda dan dapatkan ID aplikasi dari kolom ID.

3. Panggil metode check, menggunakan perintah curl berikut:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
   -d '{
       "answerCandidate": "CANDIDATE",
       "groundingSource": {
         "searchSource": {
           "servingConfig": "projects/SOURCE_PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
         }
       }
   }'
   

   Ganti kode berikut:

   • PROJECT_ID: nomor atau ID project Google Cloud project Anda.

   • SOURCE_PROJECT_ID: nomor atau ID project dari project yang berisi aplikasi untuk perujukan.

     Project sumber ini harus berada di region yang sama dengan project Anda—misalnya, keduanya global atau keduanya eu. (Untuk informasi umum tentang multi-region, lihat Lokasi.)

   • CANDIDATE: string kandidat jawaban yang ingin Anda peroleh skor dukungannya—misalnya, Titanic was directed by James Cameron. It was released in 1997.. Kandidat jawaban dapat memiliki panjang maksimum 4.096 token, dengan token didefinisikan sebagai kata dalam kalimat atau titik (tanda baca yang digunakan untuk mengakhiri kalimat). Misalnya, kalimat "Mereka mengenakan pakaian siap pakai pada tahun 2024" terdiri dari tujuh token, termasuk enam kata dan satu titik.

   • APP_ID: ID aplikasi penelusuran Vertex AI yang penyimpanan data tidak terstrukturnya berisi fakta yang ingin Anda gunakan sebagai sumber perujukan.

   Contoh perintah dan hasil

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/groundingConfigs/default_grounding_config:check" \
   -d '{
       "answerCandidate": "Titanic was directed by James Cameron. It was released in 1997.",
       "groundingSource": {
         "searchSource": {
           "servingConfig": "projects/my-project-123/locations/global/collections/default_collection/engines/my-app/servingConfigs/default_search"
         }
       }
   }'
   
   {
   "supportScore": 0.9884292,
   "claims": [
   {
     "startPos": 0,
     "endPos": 63,
     "claimText": "Titanic was directed by James Cameron. It was released in 1997.",
     "citationIndices": [
       0,
       1
     ],
     "groundingCheckRequired": true
   }
   ],
   "citedFacts": [
   {
     "chunkText": "James Cameron\'s \"Titanic\" is more than just a movie; it\'s a cinematic experience.  Released in 1997, the film masterfully intertwines a fictional love story with the historical tragedy of the RMS Titanic. Leonardo DiCaprio and Kate Winslet deliver captivating performances as Jack and Rose, two young lovers from different worlds who find each other amidst the grandeur of the doomed ship.",
     "sourceInfo": {
       "searchSource": {
         "documentId": "projects/123456/locations/global/collections/default_collection/dataStores/my-app/branches/0/documents/movie_reviews.pdf",
         "documentTitle": "movie_reviews",
         "documentLink": "gs://my-bucket-123/pdf/movie_reviews.pdf"
       }
     }
   },
   {
     "chunkText": "James Cameron\'s epic romance and disaster film \"Titanic,\" released in 1997, captured the hearts of audiences worldwide.  The film tells the fictional love story of Jack and Rose, two young people from different social classes who meet aboard the ill-fated RMS Titanic.  Cameron\'s masterful storytelling, combined with groundbreaking visual effects, brought the historical tragedy to life on the big screen, resulting in a cinematic phenomenon that resonated with viewers of all ages.",
     "sourceInfo": {
       "searchSource": {
         "documentId": "projects/123456/locations/global/collections/default_collection/dataStores/my-app/branches/0/documents/popular_films",
         "documentTitle": "popular_films",
         "documentLink": "gs://my-bucket-123/pdf/popular_films.pdf"
       }
     }
   }
   ]
   }
   

   Kolom output berbeda dengan saat sumber perujukan diberikan sebagai fakta inline. Jika penyimpanan data digunakan untuk perujukan, fakta yang dikutip diidentifikasi berdasarkan ID dokumen, judul, dan link dari penyimpanan data; fakta yang dikutip dari penyimpanan data tidak dapat diidentifikasi berdasarkan indeks fakta.