Menyesuaikan performa kueri vektor

Dokumen ini menunjukkan cara menyesuaikan indeks untuk mencapai performa kueri yang lebih cepat dan perolehan yang lebih baik.

Menyesuaikan indeks ScaNN

Indeks ScaNN menggunakan pengindeksan berbasis kuantisasi pohon. Dalam teknik Kuantisasi pohon, indeks mempelajari pohon penelusuran bersama dengan fungsi kuantisasi (atau hashing). Saat Anda menjalankan kueri, pohon penelusuran digunakan untuk memangkas ruang penelusuran, sedangkan kuantisasi digunakan untuk mengompresi ukuran indeks. Pemangkasan ini mempercepat pemberian skor kesamaan (yaitu, jarak) antara vektor kueri dan vektor database.

Untuk mencapai rasio kueri per detik (QPS) yang tinggi dan perolehan yang tinggi dengan kueri nearest neighbor, Anda harus mempartisi hierarki indeks ScaNN dengan cara yang paling sesuai untuk data dan kueri Anda.

Sebelum Anda membuat indeks ScaNN, selesaikan langkah-langkah berikut:

• Pastikan tabel dengan data Anda sudah dibuat.
• Pastikan nilai yang Anda tetapkan untuk tanda maintenance_work_mem dan shared_buffers kurang dari total memori mesin untuk menghindari masalah saat membuat indeks.

Parameter penyempurnaan

Parameter indeks dan tanda database berikut digunakan bersama untuk menemukan keseimbangan yang tepat antara perolehan dan QPS. Semua parameter berlaku untuk kedua jenis indeks ScaNN.

Jenis parameter Pembuatan indeks Waktu proses kueri

Menyesuaikan indeks ScaNN

Pertimbangkan contoh berikut untuk indeks ScaNN dua tingkat dan tiga tingkat yang menunjukkan cara parameter penyesuaian ditetapkan:

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 1/2)]);

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

Setiap operasi penyisipan atau update pada tabel tempat indeks ScaNN sudah dibuat akan memengaruhi cara pohon yang dipelajari mengoptimalkan indeks. Jika tabel Anda sering diupdate atau disisipkan, sebaiknya indeks ulang indeks ScaNN yang ada secara berkala untuk meningkatkan akurasi perolehan.

Anda dapat memantau metrik indeks untuk menentukan jumlah mutasi yang dibuat sejak indeks dibuat, lalu mengindeks ulang sesuai kebutuhan. Untuk mengetahui informasi selengkapnya tentang metrik, lihat Metrik indeks vektor.

Praktik terbaik untuk penyesuaian

Bergantung pada jenis indeks ScaNN yang akan Anda gunakan, rekomendasi untuk menyesuaikan indeks Anda akan bervariasi. Bagian ini memberikan rekomendasi tentang cara menyesuaikan parameter indeks untuk mendapatkan keseimbangan yang optimal antara recall dan QPS.

Indeks hierarki dua tingkat

Untuk menerapkan rekomendasi yang membantu Anda menemukan nilai num_leaves dan num_leaves_to_search yang optimal untuk set data Anda, ikuti langkah-langkah berikut:

1. Buat indeks ScaNN dengan num_leaves yang ditetapkan ke akar kuadrat jumlah baris tabel yang diindeks.
2. Jalankan kueri pengujian, dengan meningkatkan nilai scann.num_of_leaves_to_search, hingga Anda mencapai rentang perolehan target–misalnya, 95%. Untuk mengetahui informasi selengkapnya tentang menganalisis kueri, lihat Menganalisis kueri.
3. Catat rasio antara scann.num_leaves_to_search dan num_leaves yang akan digunakan pada langkah-langkah berikutnya. Rasio ini memberikan perkiraan seputar set data yang akan membantu Anda mencapai target perolehan.
   
   Jika Anda bekerja dengan vektor dimensi tinggi (500 dimensi atau lebih) dan ingin meningkatkan perolehan, coba sesuaikan nilai scann.pre_reordering_num_neighbors. Sebagai titik awal, tetapkan nilai ke 100 * sqrt(K) dengan K adalah batas yang Anda tetapkan dalam kueri.
4. Jika QPS Anda terlalu rendah setelah kueri Anda mencapai perolehan target, ikuti langkah-langkah berikut:
   1. Buat ulang indeks, dengan meningkatkan nilai num_leaves dan scann.num_leaves_to_search sesuai panduan berikut:
      • Tetapkan num_leaves ke faktor yang lebih besar dari akar kuadrat jumlah baris Anda. Misalnya, jika indeks memiliki num_leaves yang ditetapkan ke akar kuadrat jumlah baris, coba tetapkan ke dua kali akar kuadrat. Jika nilai sudah ganda, coba tetapkan ke tiga kali akar kuadrat.
      • Tingkatkan scann.num_leaves_to_search sesuai kebutuhan untuk mempertahankan rasionya dengan num_leaves, yang Anda catat di Langkah 3.
      • Tetapkan num_leaves ke nilai yang kurang dari atau sama dengan jumlah baris dibagi 100.
   2. Jalankan kueri pengujian lagi. Saat Anda menjalankan kueri pengujian, lakukan eksperimen dengan mengurangi scann.num_leaves_to_search, temukan nilai yang meningkatkan QPS sekaligus mempertahankan perolehan yang tinggi. Coba nilai scann.num_leaves_to_search yang berbeda tanpa membangun ulang indeks.
5. Ulangi Langkah 4 hingga QPS dan rentang perolehan mencapai nilai yang dapat diterima.

Indeks hierarki tiga tingkat

Selain rekomendasi untuk indeks pohon ScaNN dua tingkat, gunakan panduan dan langkah-langkah berikut untuk menyesuaikan indeks:

• Meningkatkan max_num_levels dari 1 untuk pohon dua tingkat menjadi 2 untuk pohon tiga tingkat secara signifikan mengurangi waktu pembuatan indeks, tetapi dengan mengorbankan akurasi perolehan. Tetapkan max_num_levels menggunakan rekomendasi berikut:
  • Tetapkan nilai ke 2 jika jumlah baris vektor melebihi 100 juta baris.
  • Tetapkan nilai ke 1 jika jumlah baris vektor kurang dari 10 juta baris.
  • Tetapkan ke 1 atau 2 jika jumlah baris vektor berada di antara 10 juta dan 100 juta baris, berdasarkan keseimbangan waktu pembuatan indeks dan akurasi perolehan yang Anda butuhkan.

Untuk menerapkan rekomendasi guna menemukan nilai optimal parameter indeks num_leaves dan max_num_levels, ikuti langkah-langkah berikut:

1. Buat indeks ScaNN dengan kombinasi num_leaves dan max_num_levels berikut berdasarkan set data Anda:

   • baris vektor yang lebih dari 100 juta baris: Tetapkan max_num_levels sebagai 2 dan num_leaves sebagai power(rows, ⅔).
   • baris vektor kurang dari 100 juta baris: Tetapkan max_num_levels sebagai 1 dan num_leaves sebagai sqrt(rows).
   • baris vektor antara 10 juta dan 100 juta baris: Mulailah dengan menetapkan max_num_levels sebagai 1 dan num_leaves sebagai sqrt(rows).

2. Jalankan kueri pengujian Anda. Untuk mengetahui informasi selengkapnya tentang menganalisis kueri, lihat Menganalisis kueri.

   Jika waktu pembuatan indeks memuaskan, pertahankan nilai max_num_levels, dan bereksperimenlah dengan nilai num_leaves untuk akurasi perolehan yang optimal.

3. Jika Anda tidak puas dengan waktu pembuatan indeks, lakukan hal berikut:

   • Jika nilai max_num_levels adalah 1, hapus indeks. Bangun kembali indeks dengan nilai max_num_levels yang ditetapkan ke 2.

     Jalankan kueri dan sesuaikan nilai num_leaves untuk akurasi perolehan yang optimal.

   • Jika nilai max_num_levels adalah 2, hapus indeks. Bangun ulang indeks dengan nilai max_num_levels yang sama dan sesuaikan nilai num_leaves untuk akurasi perolehan yang optimal.

Menyesuaikan indeks IVF

Menyesuaikan nilai yang Anda tetapkan untuk parameter lists, ivf.probes, dan quantizer dapat membantu mengoptimalkan performa aplikasi Anda:

Pertimbangkan contoh berikut yang menunjukkan indeks IVF dengan parameter penyesuaian yang ditetapkan:

SET LOCAL ivf.probes = 10;

CREATE INDEX my-ivf-index ON my-table
  USING ivf (vector_column cosine)
  WITH (lists = 100, quantizer = 'SQ8');

Menyesuaikan indeks IVFFlat

Menyesuaikan nilai yang Anda tetapkan untuk parameter lists danivfflat.probes dapat membantu mengoptimalkan performa aplikasi:

Sebelum membuat indeks IVFFlat, pastikan tanda max_parallel_maintenance_workers database Anda ditetapkan ke nilai yang cukup untuk mempercepat pembuatan indeks pada tabel besar.

Pertimbangkan contoh berikut yang menunjukkan indeks IVFFlat dengan parameter penyesuaian yang ditetapkan:

SET LOCAL ivfflat.probes = 10;

CREATE INDEX my-ivfflat-index ON my-table
  USING ivfflat (vector_column cosine)
  WITH (lists = 100);

Menyesuaikan indeks HNSW

Menyesuaikan nilai yang Anda tetapkan untuk parameter m, ef_construction, dan hnsw.ef_search dapat membantu mengoptimalkan performa aplikasi.

Pertimbangkan contoh berikut yang menunjukkan indeks hnsw dengan parameter penyesuaian yang ditetapkan:

SET LOCAL hnsw.ef_search = 40;

CREATE INDEX my-hnsw-index ON my-table
  USING hnsw (vector_column cosine)
  WITH (m = 16, ef_construction = 200);

Menganalisis kueri Anda

Gunakan perintah EXPLAIN ANALYZE untuk menganalisis insight kueri Anda seperti yang ditunjukkan dalam contoh kueri SQL berikut.

  EXPLAIN ANALYZE SELECT result-column FROM my-table
    ORDER BY EMBEDDING_COLUMN ::vector
    USING INDEX my-scann-index
    <-> embedding('textembedding-gecko@003', 'What is a database?')
    LIMIT 1;

Respons contoh QUERY PLAN mencakup informasi seperti waktu yang diperlukan, jumlah baris yang dipindai atau ditampilkan, dan resource yang digunakan.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my-scann-index on my-table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('textgecko@003', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Melihat metrik indeks vektor

Anda dapat menggunakan metrik indeks vektor untuk meninjau performa indeks vektor, mengidentifikasi area yang perlu ditingkatkan, dan menyesuaikan indeks berdasarkan metrik, jika diperlukan.

Untuk melihat semua metrik indeks vektor, jalankan kueri SQL berikut, yang menggunakan tampilan pg_stat_ann_indexes:

SELECT * FROM pg_stat_ann_indexes;

Untuk mengetahui informasi selengkapnya tentang daftar lengkap metrik, lihat Metrik indeks vektor.

Langkah berikutnya

• Contoh alur kerja penyematan