Halaman ini diterjemahkan oleh Cloud Translation API.

Mengevaluasi kualitas penelusuran

Sebagai bagian dari pengalaman penelusuran dengan Vertex AI Search, Anda dapat mengevaluasi kualitas hasil penelusuran untuk aplikasi penelusuran kustom menggunakan set kueri contoh.

Anda dapat mengevaluasi performa aplikasi penelusuran kustom yang berisi data terstruktur, tidak terstruktur, dan situs. Anda tidak dapat mengevaluasi performa aplikasi dengan beberapa penyimpanan data.

Halaman ini menjelaskan alasan, waktu, dan cara mengevaluasi kualitas penelusuran menggunakan metode evaluasi.

Ringkasan

Bagian ini menjelaskan alasan dan waktu untuk melakukan evaluasi kualitas penelusuran. Untuk mengetahui informasi tentang cara melakukan evaluasi kualitas penelusuran, lihat Proses untuk mengevaluasi kualitas penelusuran.

Alasan melakukan evaluasi

Penilaian kualitas penelusuran memberikan metrik yang membantu Anda melakukan tugas seperti berikut:

Di tingkat gabungan, ukur performa mesin telusur Anda
Pada tingkat kueri, temukan pola untuk memahami potensi bias atau kekurangan dalam algoritma peringkat
Bandingkan hasil evaluasi historis untuk memahami dampak perubahan pada konfigurasi penelusuran Anda

Untuk mengetahui daftar metrik, lihat Memahami hasil.

Waktu untuk melakukan evaluasi

Vertex AI Search memperluas beberapa konfigurasi penelusuran untuk meningkatkan pengalaman penelusuran Anda. Anda dapat melakukan evaluasi kualitas penelusuran setelah melakukan perubahan berikut:

Anda juga dapat menjalankan pengujian evaluasi secara rutin karena perilaku penelusuran diperbarui secara berkala.

Tentang set kueri contoh

Set kueri contoh digunakan untuk evaluasi kualitas. Kumpulan kueri contoh harus mematuhi format yang ditentukan, dan harus berisi entri kueri yang memiliki kolom bertingkat berikut:

Kueri: kueri yang hasil penelusurannya digunakan untuk menghasilkan metrik evaluasi dan menentukan kualitas penelusuran. Google merekomendasikan penggunaan berbagai kueri yang mencerminkan pola dan perilaku penelusuran pengguna Anda.
Target: URI dokumen yang diharapkan sebagai hasil penelusuran kueri contoh. Untuk memahami definisi dokumen untuk aplikasi penelusuran situs, data terstruktur, dan data tidak terstruktur, lihat Dokumen.

Saat dokumen target dibandingkan dengan dokumen yang diambil dalam respons penelusuran, metrik performa akan dibuat. Metrik dibuat menggunakan dua teknik ini:
- Pencocokan dokumen: URI dokumen target dibandingkan dengan URI dokumen yang diambil. Hal ini menentukan apakah dokumen yang diharapkan ada di hasil penelusuran atau tidak. Selama perbandingan, API evaluasi mencoba mengekstrak kolom berikut dalam urutan berikut, dan menggunakan nilai pertama yang tersedia untuk mencocokkan target dengan dokumen yang diambil:
  - cdoc_url di kolom structData definisi dokumen
  - uri di kolom structData definisi dokumen
  - link di kolom derivedStructData definisi dokumen
  - url di kolom derivedStructData definisi dokumen
- Pencocokan halaman: saat Anda menyertakan nomor halaman dalam target sampel, API evaluasi akan membandingkan hasil di tingkat halaman. Hal ini menentukan apakah halaman yang disebutkan dalam target juga dikutip dalam respons penelusuran. Anda harus mengaktifkan jawaban ekstraktif untuk mengaktifkan pencocokan tingkat halaman. Evaluation API mencocokkan halaman dari jawaban ekstraktif pertama dalam hasil penelusuran.

Tujuan set kueri contoh

Menggunakan set kueri sampel yang sama untuk semua evaluasi kualitas penelusuran Anda untuk penyimpanan data tertentu memastikan cara yang konsisten dan andal untuk mengukur hasil kualitas penelusuran. Hal ini juga membangun sistem yang adil dan dapat diulang.

Hasil dari setiap evaluasi dibandingkan dengan hasil target untuk setiap kueri sampel guna menghitung berbagai metrik, seperti perolehan, presisi, dan perolehan kumulatif diskonto yang dinormalisasi (NDCG). Metrik kuantitatif ini digunakan untuk memberi peringkat hasil dari berbagai konfigurasi penelusuran.

Kuota dan batas

Batas berikut berlaku untuk set kueri contoh:

Setiap set kueri contoh dapat berisi maksimum 20.000 kueri.

Kuota berikut berlaku untuk set kueri contoh:

Anda dapat membuat maksimal 100 set kueri sampel per project dan 500 set kueri sampel per organisasi.

Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas.

Format kumpulan kueri contoh

Set kueri harus sesuai dengan skema berikut saat dibuat dalam format JSON. Set kueri dapat berisi beberapa entri kueri dengan satu kueri di setiap entri kueri. Saat ditampilkan dalam format JSON yang dipisahkan newline (NDJSON), setiap entri kueri harus berada di baris baru.

Mengimpor dari BigQuery dan Cloud Storage

Bagian berikut menyediakan template set kueri contoh untuk mengimpor dari BigQuery dan Cloud Storage.

Data tidak terstruktur

Gunakan template berikut untuk membuat draf file kueri contoh dalam format JSON untuk mengevaluasi data tidak terstruktur dengan metadata.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ganti kode berikut:

SAMPLE_QUERY: kueri yang digunakan untuk menguji kualitas penelusuran
PATH/TO/CLOUD/STORAGE/LOCATION: jalur ke lokasi Cloud Storage tempat hasil yang diharapkan berada. Ini adalah nilai kolom link di kolom derivedStructData definisi dokumen.
PAGE_NUMBER_1: kolom opsional untuk menunjukkan nomor halaman dalam file PDF tempat respons yang diharapkan untuk kueri berada. Hal ini berguna jika file memiliki beberapa halaman.
CDOC_URL: kolom opsional untuk menunjukkan kolom ID dokumen kustom cdoc_url dalam metadata dokumen di skema penyimpanan data Vertex AI Search.

Data terstruktur

Gunakan template berikut untuk membuat draf file kueri sampel dalam format JSON untuk mengevaluasi data terstruktur dari BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ganti kode berikut:

SAMPLE_QUERY: kueri yang digunakan untuk menguji kualitas penelusuran
CDOC_URL: kolom wajib diisi untuk menunjukkan kolom cdoc_url kustom untuk kolom data terstruktur dalam skema penyimpanan data Vertex AI Search.

Data situs

Gunakan template berikut untuk membuat draf file kueri contoh dalam format JSON untuk mengevaluasi konten situs.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Ganti kode berikut:

SAMPLE_QUERY: kueri yang digunakan untuk menguji kualitas penelusuran
WEBSITE_URL: situs target untuk kueri.

Berikut adalah contoh set kueri sampel dalam format JSON dan NDJSON:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Mengimpor dari sistem file lokal

Bagian berikut menyediakan template set kueri contoh untuk mengimpor dari sistem file lokal.

Data tidak terstruktur

Gunakan template berikut untuk membuat draf file kueri contoh dalam format JSON untuk mengevaluasi data tidak terstruktur dengan metadata.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ganti kode berikut:

SAMPLE_QUERY: kueri yang digunakan untuk menguji kualitas penelusuran
PATH/TO/CLOUD/STORAGE/LOCATION: jalur ke lokasi Cloud Storage tempat file data tidak terstruktur yang akan dikueri berada. Ini adalah nilai kolom link di kolom derivedStructData definisi dokumen.
PAGE_NUMBER_1: kolom opsional untuk menunjukkan nomor halaman tempat respons yang diperlukan untuk kueri dapat ditemukan dalam file PDF. Hal ini berguna jika file memiliki beberapa halaman.
CDOC_URL: kolom opsional untuk menunjukkan kolom ID dokumen kustom cdoc_url dalam metadata dokumen di skema penyimpanan data Vertex AI Search.

Data terstruktur

Gunakan template berikut untuk membuat draf file kueri sampel dalam format JSON untuk mengevaluasi data terstruktur dari BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ganti kode berikut:

SAMPLE_QUERY: kueri yang digunakan untuk menguji kualitas penelusuran
CDOC_URL: kolom wajib diisi untuk menunjukkan kolom cdoc_url kustom untuk kolom data terstruktur dalam skema penyimpanan data Vertex AI Search.

Data situs

Gunakan template berikut untuk membuat draf file kueri contoh dalam format JSON untuk mengevaluasi konten situs.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Ganti kode berikut:

SAMPLE_QUERY: kueri yang digunakan untuk menguji kualitas penelusuran
WEBSITE_URL: situs target untuk kueri.

Berikut adalah contoh set kueri sampel:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Proses untuk mengevaluasi kualitas penelusuran

Proses evaluasi kualitas penelusuran adalah sebagai berikut:

Buat set kueri contoh.
Impor contoh kueri yang sesuai dengan format JSON yang ditentukan.
Jalankan evaluasi kualitas penelusuran.
Memahami hasil.

Bagian berikut memberikan petunjuk untuk melakukan langkah-langkah ini menggunakan metode REST API.

Sebelum memulai

Batas berikut berlaku:
- Pada waktu tertentu, Anda hanya dapat memiliki satu evaluasi aktif per project.
Kuota berikut berlaku:
- Anda dapat memulai maksimal lima permintaan evaluasi per hari per project. Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas.
Untuk mendapatkan metrik tingkat halaman, Anda harus mengaktifkan jawaban ekstraktif.

Membuat contoh set kueri

Anda dapat membuat kumpulan kueri contoh dan menggunakannya untuk mengevaluasi kualitas respons penelusuran untuk penyimpanan data tertentu. Untuk membuat set kueri contoh, lakukan hal berikut.

REST

Contoh berikut menunjukkan cara membuat set kueri contoh menggunakan metode sampleQuerySets.create.

Buat set kueri contoh.

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

Ganti kode berikut:

PROJECT_ID: ID Google Cloud project Anda.
SAMPLE_QUERY_SET_ID: ID kustom untuk kumpulan kueri contoh Anda.
SAMPLE_QUERY_SET_DISPLAY_NAME: nama kustom untuk set kueri contoh Anda.

Respons

Anda akan melihat respons JSON seperti berikut:

{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID",
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME",
  "createTime": "CREATION_DATETIME"
}

Mengimpor data kueri sampel

Setelah membuat set kueri contoh, impor data kueri contoh. Untuk mengimpor data kueri sampel, Anda dapat melakukan salah satu hal berikut:

Impor dari Cloud Storage: mengimpor file NDJSON dari lokasi Cloud Storage.
Impor dari BigQuery: mengimpor data BigQuery dari tabel BigQuery. Untuk membuat tabel BigQuery dari file NDJSON, lihat Memuat data JSON dari Cloud Storage.
Mengimpor dari sistem file lokal: buat set kueri contoh di sistem file lokal Anda dan impor.

Cloud Storage

Buat set kueri sampel yang sesuai dengan format set kueri sampel.
Impor file JSON yang berisi set kueri contoh dari lokasi Cloud Storage menggunakan metode sampleQueries.import.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'
```
Ganti kode berikut:
- PROJECT_ID: ID Google Cloud project Anda.
- SAMPLE_QUERY_SET_ID: ID kustom untuk kumpulan kueri contoh yang Anda tentukan selama pembuatan kumpulan kueri contoh.
- INPUT_FILE_PATH: jalur ke lokasi Cloud Storage untuk set kueri contoh Anda.
- ERROR_DIRECTORY: kolom opsional untuk menentukan jalur ke lokasi Cloud Storage tempat file error dicatat saat terjadi error impor. Google merekomendasikan untuk mengosongkan atau menghapus kolom errorConfig agar Vertex AI Search dapat membuat lokasi sementara secara otomatis.
Respons

Anda akan menerima respons JSON yang mirip dengan berikut ini. Perhatikan nilai OPERATION_ID. Anda memerlukan nilai ini pada langkah berikutnya untuk melakukan polling status operasi yang berjalan lama (LRO) ini.
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Dapatkan status operasi yang berjalan lama (LRO) menggunakan metode operations.get.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Respons

Anda akan menerima respons JSON yang mirip dengan berikut ini. Jika ada error dan impor gagal, respons akan menampilkan kolom failureCount untuk menunjukkan jumlah kueri contoh yang gagal diimpor.

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_NUMBER_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

BigQuery

Buat set kueri sampel yang sesuai dengan format set kueri sampel.
Impor file JSON yang berisi set kueri sampel dari lokasi BigQuery menggunakan metode sampleQueries.import.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'
```
Ganti kode berikut:
- PROJECT_ID: ID Google Cloud project Anda.
- SAMPLE_QUERY_SET_ID: ID kustom untuk kumpulan kueri contoh yang Anda tentukan selama pembuatan kumpulan kueri contoh.
- DATASET_ID: ID set data BigQuery yang berisi set kueri sampel.
- TABLE_ID: ID tabel BigQuery yang berisi set kueri contoh.
- ERROR_DIRECTORY: kolom opsional untuk menentukan jalur ke lokasi Cloud Storage tempat file error dicatat saat terjadi error impor. Google merekomendasikan untuk membiarkan kolom ini kosong atau menghapus kolom `errorConfig` agar Vertex AI Search dapat otomatis membuat lokasi sementara.
Respons

Anda akan menerima respons JSON yang mirip dengan berikut ini. Perhatikan nilai OPERATION_ID. Anda memerlukan nilai ini pada langkah berikutnya untuk melakukan polling status operasi yang berjalan lama (LRO) ini.
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Dapatkan status operasi yang berjalan lama (LRO) menggunakan metode operations.get.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Respons

Anda akan menerima respons JSON yang mirip dengan berikut ini. Jika ada error dan impor gagal, respons akan menampilkan kolom failureCount untuk menunjukkan jumlah kueri contoh yang gagal diimpor.

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

Sistem file lokal

Buat set kueri sampel yang sesuai dengan format set kueri sampel.
Impor file JSON yang berisi set kueri contoh dari lokasi sistem file lokal menggunakan metode sampleQueries.import.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json
```
Ganti kode berikut:
- PROJECT_ID: ID Google Cloud project Anda.
- SAMPLE_QUERY_SET_ID: ID kustom untuk kumpulan kueri contoh yang Anda tentukan selama pembuatan kumpulan kueri contoh.
- PATH/TO/LOCAL/FILE.json: jalur ke file JSON yang berisi set kueri contoh.
Respons

Anda akan menerima respons JSON yang mirip dengan berikut ini. Perhatikan nilai OPERATION_ID. Anda memerlukan nilai ini pada langkah berikutnya untuk melakukan polling status operasi yang berjalan lama (LRO) ini.
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Dapatkan status operasi yang berjalan lama (LRO) menggunakan metode operations.get.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Respons

Anda akan menerima respons JSON yang mirip dengan berikut ini. Jika ada error dan impor gagal, respons akan menampilkan kolom failureCount untuk menunjukkan jumlah kueri contoh yang gagal diimpor.

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

Menjalankan evaluasi kualitas penelusuran

Setelah mengimpor data kueri sampel ke set kueri sampel, ikuti langkah-langkah berikut untuk menjalankan evaluasi kualitas penelusuran.

REST

Mulai evaluasi kualitas penelusuran.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

Ganti kode berikut:

PROJECT_ID: ID Google Cloud project Anda.
SAMPLE_QUERY_SET_ID: ID kustom untuk set kueri sampel yang Anda tentukan selama pembuatan set kueri sampel.
APP_ID: ID aplikasi Vertex AI Search yang kualitas penelusurannya ingin Anda evaluasi.

Respons

Anda akan menerima respons JSON yang mirip dengan berikut ini. Perhatikan nilai EVALUATION_ID. Anda memerlukan nilai ini pada langkah berikutnya untuk melakukan polling status evaluasi, yang merupakan operasi yang berjalan lama (LRO).

{
 "name": "projects/PROJECT_NUMBER/locations/global/operations/OPERATION_ID",
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.Evaluation",
   "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
   "evaluationSpec": {
     "querySetSpec": {
       "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
     },
     "searchRequest": {
       "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
     }
   },
   "state": "PENDING"
 }
}

Pantau progres evaluasi.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

Ganti kode berikut:

PROJECT_ID: ID Google Cloud project Anda.
EVALUATION_ID: ID untuk tugas evaluasi yang ditampilkan pada langkah sebelumnya saat Anda memulai evaluasi.

Respons

Anda akan menerima respons JSON yang mirip dengan berikut ini. Status evaluasi ditampilkan sebagai PENDING hingga evaluasi selesai.

{
"name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
"evaluationSpec": {
  "querySetSpec": {
    "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
  },
  "searchRequest": {
    "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
  }
},
"state": "PENDING"
"createTime": "CREATION_DATETIME"
}

Mengambil hasil gabungan.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

Ganti kode berikut:

PROJECT_ID: ID Google Cloud project Anda.
EVALUATION_ID: ID untuk tugas evaluasi yang ditampilkan pada langkah sebelumnya saat Anda memulai evaluasi.

Respons

Anda akan menerima respons JSON yang mirip dengan berikut ini. Status evaluasi ditampilkan sebagai PENDING hingga evaluasi selesai.

{
 "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 },
 "qualityMetrics": {
   "docRecall": {
     "top1": DOC_RECALL_TOP_1,
     "top3": DOC_RECALL_TOP_3,
     "top5": DOC_RECALL_TOP_5,
     "top10": DOC_RECALL_TOP_10
   },
   "docPrecision": {
     "top1": DOC_PRECISION_TOP_1,
     "top3": DOC_PRECISION_TOP_3,
     "top5": DOC_PRECISION_TOP_5,
     "top10": DOC_PRECISION_TOP_10
   },
   "docNdcg": {
     "top1": DOC_NDCG_TOP_1,
     "top3": DOC_NDCG_TOP_3,
     "top5": DOC_NDCG_TOP_5,
     "top10": DOC_NDCG_TOP_10
   },
   "pageRecall": {
     "top1": PAGE_RECALL_TOP_1,
     "top3": PAGE_RECALL_TOP_3,
     "top5": PAGE_RECALL_TOP_5,
     "top10": PAGE_RECALL_TOP_10
   },
   "pageNdcg": {
     "top1": PAGE_NDCG_TOP_1,
     "top3": PAGE_NDCG_TOP_3,
     "top5": PAGE_NDCG_TOP_5,
     "top10": PAGE_NDCG_TOP_10
    }
  },
 "state": "SUCCEEDED",
 "error": {},
 "createTime": "CREATION_DATETIME",
 "endTime": "END_DATETIME"
}

Mengambil hasil tingkat kueri.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

Ganti kode berikut:

PROJECT_ID: ID Google Cloud project Anda.
EVALUATION_ID: ID untuk tugas evaluasi yang ditampilkan pada langkah sebelumnya saat Anda memulai evaluasi.

Respons

Anda akan menerima respons JSON yang mirip dengan berikut ini. Status evaluasi ditampilkan sebagai PENDING hingga evaluasi selesai.

{
 "evaluationResults": [
   {
     "sampleQuery": {
       "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_1",
       "queryEntry": {
         "query": "SAMPLE_QUERY_1",
         "targets": [
           {
             "uri": "URI_1"
           }
         ]
       }
     },
     "qualityMetrics": {
       "docRecall": {
         "top1": DOC_RECALL_TOP_1,
         "top3": DOC_RECALL_TOP_3,
         "top5": DOC_RECALL_TOP_5,
         "top10": DOC_RECALL_TOP_10
       },
       "docPrecision": {
         "top1": DOC_PRECISION_TOP_1,
         "top3": DOC_PRECISION_TOP_3,
         "top5": DOC_PRECISION_TOP_5,
         "top10": DOC_PRECISION_TOP_10
       },
       "docNdcg": {
         "top1": DOC_NDCG_TOP_1,
         "top3": DOC_NDCG_TOP_3,
         "top5": DOC_NDCG_TOP_5,
         "top10": DOC_NDCG_TOP_10
       },
       "pageRecall": {
         "top1": PAGE_RECALL_TOP_1,
         "top3": PAGE_RECALL_TOP_3,
         "top5": PAGE_RECALL_TOP_5,
         "top10": PAGE_RECALL_TOP_10
       },
       "pageNdcg": {
         "top1": PAGE_NDCG_TOP_1,
         "top3": PAGE_NDCG_TOP_3,
         "top5": PAGE_NDCG_TOP_5,
         "top10": PAGE_NDCG_TOP_10
        }
      }
   },
   {
     "sampleQuery": {
       "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_2",
       "queryEntry": {
         "query": "SAMPLE_QUERY_2",
         "targets": [
           {
             "uri": "URI_2"
           }
         ]
       }
     },
     "qualityMetrics": {
       "docRecall": {
         "top1": DOC_RECALL_TOP_1,
         "top3": DOC_RECALL_TOP_3,
         "top5": DOC_RECALL_TOP_5,
         "top10": DOC_RECALL_TOP_10
       },
       "docPrecision": {
         "top1": DOC_PRECISION_TOP_1,
         "top3": DOC_PRECISION_TOP_3,
         "top5": DOC_PRECISION_TOP_5,
         "top10": DOC_PRECISION_TOP_10
       },
       "docNdcg": {
         "top1": DOC_NDCG_TOP_1,
         "top3": DOC_NDCG_TOP_3,
         "top5": DOC_NDCG_TOP_5,
         "top10": DOC_NDCG_TOP_10
       },
       "pageRecall": {
         "top1": PAGE_RECALL_TOP_1,
         "top3": PAGE_RECALL_TOP_3,
         "top5": PAGE_RECALL_TOP_5,
         "top10": PAGE_RECALL_TOP_10
       },
       "pageNdcg": {
         "top1": PAGE_NDCG_TOP_1,
         "top3": PAGE_NDCG_TOP_3,
         "top5": PAGE_NDCG_TOP_5,
         "top10": PAGE_NDCG_TOP_10
        }
      }
   }
 ]
}

Memahami hasil

Tabel berikut menjelaskan metrik yang ditampilkan dalam hasil evaluasi Anda.

Nama	Deskripsi	Persyaratan
`docRecall`	Recall per dokumen, pada berbagai tingkat cutoff top-k. Perolehan adalah bagian dari dokumen yang relevan yang diambil dari semua dokumen yang relevan. Misalnya, nilai `top5` menandakan hal berikut: Untuk satu kueri, jika 3 dari 5 dokumen yang relevan diambil dalam 5 teratas, `docRecall` dapat dihitung sebagai 3/5 atau 0,6.	Contoh kueri harus berisi kolom URI.
`pageRecall`	Perolehan per halaman, pada berbagai tingkat cutoff top-k. Perolehan adalah bagian dari halaman yang relevan yang diambil dari semua halaman yang relevan. Misalnya, nilai `top5` menandakan hal berikut: Untuk satu kueri, jika 3 dari 5 halaman yang relevan diambil di 5 teratas, `pageRecall` dapat dihitung sebagai 3/5 = 0,6	Contoh kueri harus berisi kolom URI dan halaman. Jawaban ekstraktif harus diaktifkan.
`docNdcg`	Perolehan kumulatif setelah diskon yang dinormalisasi (NDCG) per dokumen, pada berbagai tingkat cutoff top-k. NDCG mengukur kualitas peringkat, dengan memberikan relevansi yang lebih tinggi pada hasil teratas. Nilai NDCG dapat dihitung untuk setiap kueri sesuai dengan CDG yang Dinormalisasi.	Contoh kueri harus berisi kolom URI.
`pageNdcg`	Perolehan kumulatif setelah diskon yang dinormalisasi (NDCG) per halaman, pada berbagai tingkat cutoff top-k. NDCG mengukur kualitas peringkat, dengan memberikan relevansi yang lebih tinggi pada hasil teratas. Nilai NDCG dapat dihitung untuk setiap kueri sesuai dengan CDG yang Dinormalisasi.	Contoh kueri harus berisi kolom URI dan halaman. Jawaban ekstraktif harus diaktifkan.
`docPrecision`	Presisi per dokumen, pada berbagai tingkat cutoff top-k. Presisi adalah fraksi dokumen yang diambil yang relevan. Misalnya, nilai `top3` menandakan hal berikut: Untuk satu kueri, jika 4 dari 5 dokumen yang diambil dalam 5 teratas relevan, nilai `docPrecision` dapat dihitung sebagai 4/5 atau 0,8.	Contoh kueri harus berisi kolom URI.

Berdasarkan nilai metrik yang didukung ini, Anda dapat melakukan tugas berikut:

Menganalisis metrik gabungan:
- Periksa metrik keseluruhan seperti perolehan rata-rata, presisi, dan perolehan kumulatif setelah diskon yang dinormalisasi (NDCG).
- Metrik ini memberikan gambaran umum tentang performa mesin telusur Anda.
Meninjau hasil tingkat kueri:
- Lihat perincian setiap kueri untuk mengidentifikasi area tertentu tempat mesin telusur berperforma baik atau buruk.
- Cari pola dalam hasil untuk memahami potensi bias atau kekurangan dalam algoritma peringkat.
Bandingkan hasil dari waktu ke waktu:
- Jalankan evaluasi secara rutin untuk melacak perubahan kualitas penelusuran dari waktu ke waktu.
- Gunakan data historis untuk mengidentifikasi tren dan menilai dampak perubahan yang Anda lakukan pada mesin telusur.

Langkah berikutnya

Gunakan Cloud Scheduler untuk menyiapkan evaluasi kualitas terjadwal. Untuk informasi selengkapnya, lihat Menggunakan autentikasi dengan target HTTP.

Mengevaluasi kualitas penelusuran Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Ringkasan

Alasan melakukan evaluasi

Waktu untuk melakukan evaluasi

Tentang set kueri contoh

Tujuan set kueri contoh

Kuota dan batas

Format kumpulan kueri contoh

Mengimpor dari BigQuery dan Cloud Storage

Data tidak terstruktur

Data terstruktur

Data situs

JSON

NDJSON

Mengimpor dari sistem file lokal

Data tidak terstruktur

Data terstruktur

Data situs

JSON

Proses untuk mengevaluasi kualitas penelusuran

Sebelum memulai

Membuat contoh set kueri

REST

Respons

Mengimpor data kueri sampel

Cloud Storage

Respons

Respons

BigQuery

Respons

Respons

Sistem file lokal

Respons

Respons

Menjalankan evaluasi kualitas penelusuran

REST

Respons

Respons

Respons

Respons

Memahami hasil

Langkah berikutnya

Mengevaluasi kualitas penelusuran