对向量查询性能进行调优

本文档介绍了如何对索引进行调优以实现更快的查询性能和更高的召回率。

对 ScaNN 索引进行调优

ScaNN 索引使用基于树量化的索引编制。在树量化技术中，索引会学习搜索树以及量化（或哈希）函数。运行查询时，搜索树用于对搜索空间进行剪枝，而量化用于压缩索引大小。这种剪枝可以加快对查询向量与数据库向量之间的相似度（即距离）进行打分的速度。

如需在使用最近邻查询时实现较高的每秒查询次数速率 (QPS) 和较高的召回率，您必须以最适合您的数据和查询的方式对 ScaNN 索引的树进行分区。

在构建 ScaNN 索引之前，请完成以下操作：

• 确保已创建包含您数据的表。
• 确保您为 maintenance_work_mem 和 shared_buffers 标志设置的值小于机器总内存，以免在生成索引时出现问题。

调节参数

以下索引参数和数据库标志可结合使用，以便在召回率和 QPS 之间取得适当的平衡。所有参数都适用于这两种 ScaNN 索引类型。

参数类型 索引创建 查询运行时

对 ScaNN 索引进行调优

请考虑以下关于二级和三级 ScaNN 索引的示例，它们展示了如何设置调优参数：

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 1/2)]);

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

对已生成 ScaNN 索引的表执行的任何插入或更新操作都会影响学习型树优化索引的方式。如果您的表容易频繁更新或插入，我们建议您定期重新编制现有的 ScaNN 索引，以提高召回率准确率。

您可以监控索引指标，以确定自构建索引以来创建的突变量，然后相应地重新编制索引。如需详细了解指标，请参阅向量索引指标。

调优方面的最佳实践

根据您计划使用的 ScaNN 索引类型，调优索引的建议会有所不同。本部分提供了有关如何对索引参数进行调优以在召回率和 QPS 之间取得最佳平衡的建议。

二级树索引

如需应用建议以帮助您为数据集找到 num_leaves 和 num_leaves_to_search 的最佳值，请按照以下步骤操作：

1. 创建 ScaNN 索引，并将 num_leaves 设置为已编入索引的表的行数的平方根。
2. 运行测试查询，并增加 scann.num_of_leaves_to_search 的值，直到达到目标召回率范围（例如 95%）为止。如需详细了解如何分析查询，请参阅分析查询。
3. 记下 scann.num_leaves_to_search 与 num_leaves 之间的比率，此比率将在后续步骤中使用。此比率可提供关于数据集的近似值，有助于您实现目标召回率。
   
   如果您使用的是高维向量（500 个维度或更高），并且想要提高召回率，请尝试对 scann.pre_reordering_num_neighbors 的值进行调优。首先，将该值设置为 100 * sqrt(K)，其中 K 是您在查询中设置的限制。
4. 如果您的查询达到目标召回率后 QPS 过低，请按照以下步骤操作：
   1. 重新创建索引，并根据以下指导增加 num_leaves 和 scann.num_leaves_to_search 的值：
      • 将 num_leaves 设置为行数平方根的更大倍数。例如，如果索引的 num_leaves 设置为行数的平方根，请尝试将其设置为平方根的两倍。如果该值已是两倍，请尝试将其设置为平方根的三倍。
      • 根据需要增加 scann.num_leaves_to_search，以使其与 num_leaves 保持您在第 3 步中记录的比率。
      • 将 num_leaves 设置为小于或等于行数除以 100 的值。
   2. 再次运行测试查询。在运行测试查询时，尝试减少 scann.num_leaves_to_search，找到一个可以增加 QPS，同时保持较高召回率的值。在不重建索引的情况下尝试使用不同的 scann.num_leaves_to_search 值。
5. 重复第 4 步，直到 QPS 和召回率范围都达到可接受的值。

三级树索引

除了针对二级树 ScaNN 索引的建议之外，还请遵循以下指导并按照以下步骤对索引进行调优：

• 将二级树的 max_num_levels 从 1 增加到三级树的 2 可显著缩短创建索引的时间，但会牺牲召回率准确性。使用以下建议设置 max_num_levels：
  • 如果向量行数超过 1 亿行，请将该值设置为 2。
  • 如果向量行数少于 1,000 万行，请将该值设为 1。
  • 如果向量行数介于 1,000 万行和 1 亿行之间，请根据您需要的索引创建时间和召回准确度之间的平衡，将该值设置为 1 或 2。

如需应用建议以查找 num_leaves 和 max_num_levels 索引参数的最佳值，请按照以下步骤操作：

1. 根据您的数据集，使用以下 num_leaves 和 max_num_levels 组合创建 ScaNN 索引：

   • 向量行数超过 1 亿行：将 max_num_levels 设置为 2，并将 num_leaves 设置为 power(rows, ⅔)。
   • 向量行数少于 1 亿行：将 max_num_levels 设置为 1，并将 num_leaves 设置为 sqrt(rows)。
   • 向量行数介于 1,000 万行和 1 亿行之间：首先将 max_num_levels 设置为 1，并将 num_leaves 设置为 sqrt(rows)。

2. 运行测试查询。如需详细了解如何分析查询，请参阅分析查询。

   如果索引创建时间令人满意，则保留 max_num_levels 值，并尝试使用 num_leaves 值以获得最佳召回准确率。

3. 如果您对索引创建时间不满意，请执行以下操作：

   • 如果 max_num_levels 值为 1，则舍弃索引。重建索引，并将 max_num_levels 值设置为 2。

     运行查询并调整 num_leaves 值，以实现最佳召回准确度。

   • 如果 max_num_levels 值为 2，则舍弃索引。使用相同的 max_num_levels 值重建索引，并调整 num_leaves 值以实现最佳召回准确率。

对 IVF 索引进行调优

对您为 lists、ivf.probes 和 quantizer 参数设置的值进行调优可能会有助于优化应用性能：

请考虑以下示例，其中显示设置了调优参数的 IVF 索引：

SET LOCAL ivf.probes = 10;

CREATE INDEX my-ivf-index ON my-table
  USING ivf (vector_column cosine)
  WITH (lists = 100, quantizer = 'SQ8');

对 IVFFlat 索引进行调优

对您为 lists 和 ivfflat.probes 参数设置的值进行调优可能会有助于优化应用性能：

在构建 IVFFlat 索引之前，请确保为数据库的 max_parallel_maintenance_workers 标志设置的值足以对大型表加快索引创建。

请考虑以下示例，其中显示设置了调优参数的 IVFFlat 索引：

SET LOCAL ivfflat.probes = 10;

CREATE INDEX my-ivfflat-index ON my-table
  USING ivfflat (vector_column cosine)
  WITH (lists = 100);

对 HNSW 索引进行调优

对您为 m、ef_construction 和 hnsw.ef_search 参数设置的值进行调优可能会有助于优化应用性能。

请考虑以下示例，其中显示设置了调优参数的 hnsw 索引：

SET LOCAL hnsw.ef_search = 40;

CREATE INDEX my-hnsw-index ON my-table
  USING hnsw (vector_column cosine)
  WITH (m = 16, ef_construction = 200);

分析查询

如以下 SQL 查询示例所示，使用 EXPLAIN ANALYZE 命令分析查询分析洞见。

  EXPLAIN ANALYZE SELECT result-column FROM my-table
    ORDER BY EMBEDDING_COLUMN ::vector
    USING INDEX my-scann-index
    <-> embedding('textembedding-gecko@003', 'What is a database?')
    LIMIT 1;

示例响应 QUERY PLAN 包含所用时间、扫描或返回的行数以及使用的资源等信息。

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my-scann-index on my-table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('textgecko@003', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

查看向量索引指标

您可以使用向量索引指标来查看向量索引的性能、确定需要改进的方面，以及在需要时根据指标对索引进行调优。

如需查看所有向量索引指标，请运行以下 SQL 查询，该查询使用 pg_stat_ann_indexes 视图：

SELECT * FROM pg_stat_ann_indexes;

如需详细了解指标的完整列表，请参阅向量索引指标。

后续步骤

• 嵌入工作流示例