Metrik indeks vektor

Halaman ini mencantumkan metrik yang terkait dengan indeks vektor yang Anda buat di AlloyDB Omni. Anda dapat melihat metrik ini menggunakan tampilan pg_stat_ann_indexes yang tersedia saat Anda menginstal ekstensi alloydb_scann.

Untuk informasi selengkapnya tentang cara melihat metrik, lihat Melihat metrik indeks vektor.

Metrik kegunaan

Metrik kegunaan mencakup metrik yang membantu Anda memahami status penggunaan indeks dengan metrik, seperti konfigurasi indeks dan jumlah pemindaian indeks.

Nama metrik Jenis data Deskripsi
relid OID ID unik tabel yang berisi indeks vektor
indexrelid OID ID unik indeks vektor
schemaname NAME Nama skema yang memiliki indeks
relname NAME Nama tabel yang berisi indeks
indexrelname NAME Nama indeks
indextype NAME Jenis indeks. Nilai ini selalu ditetapkan ke scann
indexconfig TEXT[] Konfigurasi, seperti jumlah daun dan pengkuantifikator, yang ditentukan untuk indeks saat dibuat
indexsize TEXT Ukuran indeks
indexscan BIGINT Jumlah pemindaian indeks yang dimulai di indeks

Metrik penyesuaian

Metrik penyesuaian memberikan insight tentang pengoptimalan indeks Anda saat ini, sehingga Anda dapat menerapkan rekomendasi untuk performa kueri yang lebih cepat.

Nama metrik Jenis data Deskripsi
insertcount BIGINT Jumlah operasi penyisipan pada indeks. Metrik ini juga mencakup jumlah baris yang ada sebelum indeks dibuat.
updatecount BIGINT Jumlah operasi update pada indeks. Metrik ini tidak memperhitungkan update HOT apa pun.
deletecount BIGINT Jumlah operasi penghapusan pada indeks.
distribution JSONB Distribusi vektor di semua partisi untuk indeks.

Kolom berikut menunjukkan distribusi:
  • maximum (INT8): Jumlah maksimum vektor di semua partisi.
  • minimum (INT8): Jumlah minimum vektor di semua partisi.
  • average (FLOAT) : Jumlah rata-rata vektor di semua partisi.
  • outliers (INT8[]): Nilai ekstrem teratas di semua partisi. Nilai ini menunjukkan 20 pencilan teratas.

Catatan: Karena karakteristik bawaan algoritma pengelompokan K-means, akan selalu ada beberapa tingkat varians dalam distribusi vektor di seluruh partisi, bahkan saat indeks pertama kali dibuat.
distributionpercentile JSONB Distribusi indeks vektor membantu Anda memahami distribusi vektor di antara partisi indeks ScaNN. Partisi dibuat berdasarkan nilai num_leaves yang ditentukan selama pembuatan indeks.

Distribusi indeks vektor berisi bucket untuk persentil ke-10, 25, 50, 75, 90, 95, 99, dan 100. Setiap bucket berisi nilai berikut:
  • Jumlah vektor yang ada dalam partisi pada persentil yang ditentukan.
  • Jumlah partisi yang memiliki vektor dalam rentang yang ditentukan oleh persentil saat ini dan sebelumnya.

Catatan: Karena karakteristik bawaan algoritma pengelompokan K-means, selalu ada beberapa tingkat varians dalam distribusi vektor di seluruh partisi, bahkan saat indeks pertama kali dibuat.

Menyesuaikan rekomendasi berdasarkan metrik

Mutasi
Metrik insertcount, updatecount, dan deletecount bersama-sama menunjukkan perubahan atau mutasi dalam vektor untuk indeks.
Indeks dibuat dengan jumlah vektor dan partisi tertentu. Saat operasi seperti menyisipkan, memperbarui, atau menghapus dilakukan pada indeks vektor, operasi tersebut hanya memengaruhi kumpulan partisi awal tempat vektor berada. Akibatnya, jumlah vektor di setiap partisi berfluktuasi dari waktu ke waktu, yang berpotensi memengaruhi recall, QPS, atau keduanya.
Jika Anda mengalami masalah lambat atau akurasi seperti QPS rendah atau recall yang buruk, dalam kueri penelusuran ANN Anda dari waktu ke waktu, sebaiknya tinjau metrik ini. Jumlah mutasi yang tinggi dibandingkan dengan jumlah total vektor dapat menunjukkan perlunya pengindeksan ulang.
Distribusi
Metrik distribution menampilkan distribusi vektor di semua partisi.
Saat Anda membuat indeks, indeks tersebut dibuat dengan jumlah vektor dan partisi tetap tertentu. Proses partisi dan distribusi berikutnya terjadi berdasarkan pertimbangan ini. Jika vektor tambahan ditambahkan, vektor tersebut akan dipartisi di antara partisi yang ada, sehingga menghasilkan distribusi yang berbeda dibandingkan dengan distribusi saat indeks dibuat. Karena distribusi akhir tidak mempertimbangkan semua vektor secara bersamaan, recall, QPS, atau keduanya mungkin terpengaruh.
Jika Anda mengamati penurunan bertahap dalam performa kueri penelusuran ANN, seperti waktu respons yang lebih lambat atau akurasi hasil yang berkurang (diukur dengan QPS atau recall), sebaiknya periksa metrik ini dan buat pengindeksan ulang.
Persentil distribusi
Metrik distributionpercentile adalah distribusi indeks vektor dalam tampilan pg_stat_ann_indexes yang membantu Anda memahami distribusi vektor di antara partisi indeks ScaNN. Partisi dibuat berdasarkan nilai num_leaves yang ditentukan selama pembuatan indeks.
Saat Anda membuat indeks alloydb_scann pada kumpulan baris awal dengan menetapkan num_leaves, indeks dapat mengubah distribusi vektor di seluruh partisi karena operasi data (mutasi skew), atau jumlah vektor mungkin meningkat secara signifikan. Perubahan ini dapat menyebabkan penurunan QPS, recall, atau keduanya. Distribusi indeks vektor dapat memberi Anda sinyal jika mutasi menyebabkan perubahan pada distribusi indeks. Informasi ini dapat membantu Anda menentukan apakah pengindeksan ulang diperlukan, atau apakah perubahan pada konfigurasi waktu penelusuran dapat membantu meningkatkan performa kueri.
Dalam indeks vektor, distribusi vektor di seluruh partisi jarang merata sempurna. Ketidakseimbangan tersebut disebut sebagai distribusi tidak seragam. Tingkat ketidakseragaman tertentu sering kali terjadi dan tidak berarti Anda perlu mengindeks ulang. Distribusi non-seragam memiliki karakteristik berikut:
  • Varians jumlah vektor rendah. Varians dapat dihitung sebagai
    $(P100(num\_vectors) - p10(num\_vectors))*(\frac{num\_leaves}{total\_num\_row})$
  • Jumlah partisi dengan 0 vektor rendah, dan mungkin kurang dari 30% partisi.
  • Varians jumlah partisi rendah.
    $ variance _{p} = abs(p_{num\_partitions} - num\_leaves * (p_{percentile} - p-1_{percentile})) $ dengan "p" adalah bucket distribusi indeks vektor.
  • Jumlah vektor pada persentil mana pun adalah
    $< 8 x (\frac{num\_rows\ during\ index\ creation\ time}{ num\_leaves})$

    Jika kondisi ini tidak terpenuhi, REINDEX mungkin diperlukan berdasarkan seberapa banyak QPS dan recall yang terpengaruh.
Skenario berikut, meskipun kurang umum daripada distribusi non-seragam, dapat terjadi:
  • Indeks Seragam Perkiraan: Jika sebagian besar partisi memiliki jumlah vektor non-nol yang sama dan varians jumlah vektor rendah, ini adalah indeks seragam perkiraan. REINDEX diperlukan jika vektor angka di setiap partisi adalah $> 8 * vektor rata-rata$ di index_creation_time.
  • Indeks Sparse: Indeks sparse juga terjadi jika > 50% partisi kosong. Misalnya, indeks jarang dibuat saat beberapa penghapusan terjadi pada tabel. Skenario ini menyebabkan vektor terkonsentrasi dalam sejumlah kecil partisi, yang meningkatkan jumlah vektor di setiap partisi. Jika hal ini terjadi, hapus indeks dan buat ulang.