向量索引指标

本页面列出了与您在 AlloyDB Omni 中生成的向量索引相关的指标。您可以使用安装 alloydb_scann 扩展程序后提供的 pg_stat_ann_indexes 视图查看这些指标。

如需详细了解如何查看指标,请参阅查看矢量索引指标

易用性指标

易用性指标包括可帮助您通过指标(例如索引配置和索引扫描次数)了解索引利用率的指标。

指标名称 数据类型 说明
relid OID 包含矢量索引的表的唯一标识符
indexrelid OID 矢量索引的唯一标识符
schemaname NAME 拥有索引的架构的名称
relname NAME 包含索引的表的名称
indexrelname NAME 索引的名称
indextype NAME 索引的类型。此值始终设置为 scann
indexconfig TEXT[] 在创建索引时为其定义的配置,例如叶节点数量和量化器
indexsize TEXT 索引大小
indexscan BIGINT 在索引上发起的索引扫描次数

调优指标

通过调整指标,您可以深入了解当前的索引优化,从而应用建议来提升查询性能。

指标名称 数据类型 说明
insertcount BIGINT 索引上的插入操作数。此指标还包括在创建索引之前存在的行数。
updatecount BIGINT 索引上的更新操作数。此指标不考虑任何 HOT 更新。
deletecount BIGINT 对索引执行的删除操作数。
distribution JSONB 索引的所有分区中的向量分布。

以下字段显示了分布:
  • maximum (INT8):所有分区中的向量数量上限。
  • minimum (INT8):所有分区中的向量数量下限。
  • average (FLOAT):所有分区中的向量平均数。
  • outliers (INT8[]):所有分区中的最大离群值。此值显示前 20 个离群值。

注意:由于 K 均值聚类算法的固有特性,即使在最初创建索引时,各分区中的矢量分布也始终会存在一定程度的差异。
distributionpercentile JSONB 向量索引分布有助于您了解 ScaNN 索引分区之间的向量分布。分区是根据在创建索引时定义的 num_leaves 值创建的。

向量索引分布包含第 10、25、50、75、90、95、99 和 100 百分位的存储分区。每个分桶包含以下值:
  • 在指定百分位数时分区中存在的向量数量。
  • 向量位于当前百分位数和前一百分位数定义的范围内的分区数量。

注意:由于 K 均值聚类算法的固有特性,即使在最初创建索引时,各分区中的矢量分布也始终存在一定程度的差异。

根据指标调整建议

Mutation
insertcountupdatecountdeletecount 指标共同显示索引向量的更改或更改。
该索引会使用特定数量的向量和分区进行创建。对向量索引执行插入、更新或删除等操作时,只会影响向量所在的初始分区集。因此,每个分区中的向量数量会随时间而波动,可能会影响召回率和 QPS。
如果您在 ANN 搜索查询中长期遇到速度或准确性问题(例如 QPS 较低或召回率较低),不妨考虑查看这些指标。相对于向量总数而言,突变次数过多可能表示需要重新编制索引。
分布
distribution 指标显示所有分区中的向量分布。
创建索引时,系统会使用特定数量的向量和固定分区来创建该索引。分区过程和后续分发是基于此考虑进行的。如果添加了其他矢量,它们会在现有分区中进行分区,从而导致与创建索引时的分布不同。由于最终分布不会同时考虑所有矢量,因此召回率和 QPS 可能会受到影响。
如果您发现 ANN 搜索查询的效果逐渐下降(例如响应时间变慢或结果准确性降低 [按 QPS 或召回率衡量]),不妨考虑检查此指标并重新编制索引。
分布百分位
distributionpercentile 指标是 pg_stat_ann_indexes 视图中的向量索引分布,可帮助您了解 ScaNN 索引分区之间的向量分布。这些分区是根据在创建索引期间定义的 num_leaves 值创建的。
如果您通过设置 num_leaves 在初始行组上创建 alloydb_scann 索引,则该索引可能会因数据操作(偏斜突变)而更改各个分区中的向量分布,或者向量数量可能会大幅增加。这些更改可能会导致 QPS 和/或召回率下降。如果更改导致索引分布发生变化,向量索引分布可以为您提供相关信号。这些信息有助于您确定是否需要重新编制索引,或者更改搜索时间配置是否有助于提高查询性能。
在向量索引中,向量在各个分区中的分布很少完全均匀。这种不平衡称为非均匀分布。通常,存在一定程度的不均匀性是正常现象,并不意味着您需要重新编制索引。非均匀分布具有以下特征:
  • 向量数量的方差较低。方差的计算公式为
    $(P100(num\_vectors) - p10(num\_vectors))*(\frac{num\_leaves}{total\_num\_row})$
  • 包含 0 个矢量的分区数量较少,可能不到分区的 30%。
  • 分区数量的方差较低。
    $ variance _{p} = abs(p_{num\_partitions} - num\_leaves * (p_{percentile} - p-1_{percentile})) $,其中“p”是向量索引分布分桶。
  • 任意百分位数的向量数量为
    $< 8 x (\frac{num\_rows\ during\ index\ creation\ time}{ num\_leaves})$

    如果不满足这些条件,则可能需要根据 QPS 和召回率受到的影响程度来使用 REINDEX
虽然不均匀分布的情况更常见,但也可能会出现以下情况:
  • 近似均匀索引:如果大多数分区具有相同的非零向量数量,并且向量数量的方差较低,则为近似均匀索引。如果每个分区中的数值矢量在 index_creation_time 时 $> 8 * 平均矢量$,则需要 REINDEX
  • 稀疏索引:如果超过 50% 的分区为空,也会出现稀疏索引。例如,当表中发生多次删除操作时,系统会创建稀疏索引。这种情况会导致向量集中在少数几个分区中,从而增加每个分区中的向量数量。出现这种情况时,请删除索引并重新创建。