Ajusta el rendimiento de las consultas vectoriales en AlloyDB para PostgreSQL

Aprende a ajustar los siguientes índices vectoriales para lograr un rendimiento de las consultas más rápido y una mejor recuperación en AlloyDB para PostgreSQL:

También puedes analizar tus búsquedas y ver las métricas del índice de vectores para supervisar y mejorar el rendimiento de las búsquedas.

Antes de comenzar

Antes de compilar un índice de ScaNN, completa los siguientes pasos:

  • Asegúrate de que ya se haya creado una tabla con tus datos.
  • Para evitar problemas durante la generación del índice, asegúrate de que el valor que establezcas para las marcas maintenance_work_mem y shared_buffers sea inferior a la memoria total de la máquina .

Ajusta un índice de ScaNN

Usa la siguiente guía para elegir entre un índice de ScaNN de dos y tres niveles:

  • Elige un índice de dos niveles si la cantidad de filas de vectores es inferior a 10 millones.
  • Elige un índice de tres niveles si la cantidad de filas de vectores supera los 100 millones.
  • Elige un índice de tres niveles para optimizar el tiempo de compilación del índice o un índice de dos niveles para optimizar la recuperación de la búsqueda si la cantidad de filas de vectores se encuentra entre 10 y 100 millones.

Considera los siguientes ejemplos para los índices ScaNN de dos y tres niveles que muestran cómo se configuran los parámetros de ajuste para una tabla con 1,000,000 de filas:

Índice de dos niveles

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = 1000); -- Note: 1000 is the square root of 1,000,000 rows.

Índice de tres niveles

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors = 50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = 10000, max_num_levels = 2);

Para optimizar el equilibrio entre la recuperación y las QPS cuando ajustes los índices de ScaNN, consulta las prácticas recomendadas para ajustar los índices de ScaNN.

Analiza tus búsquedas

Usa el comando EXPLAIN ANALYZE para analizar tus estadísticas de consultas, como se muestra en el siguiente ejemplo de consulta en SQL.

  EXPLAIN ANALYZE SELECT result-column
  FROM my-table
  ORDER BY EMBEDDING_COLUMN <=> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

La respuesta de ejemplo QUERY PLAN incluye información como el tiempo que tardó, la cantidad de filas analizadas o devueltas y los recursos utilizados.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my-scann-index on my-table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <=> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Cómo ver las métricas del índice de vectores

Puedes usar las métricas del índice de vectores para revisar el rendimiento de tu índice de vectores, identificar áreas de mejora y ajustar el índice según las métricas, si es necesario.

Para ver todas las métricas del índice de vectores, ejecuta la siguiente consulta en SQL, que usa la vista pg_stat_ann_indexes:

SELECT * FROM pg_stat_ann_indexes;

Verás un resultado similar al siguiente:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

Para obtener más información sobre la lista completa de métricas, consulta Métricas del índice de vectores.

¿Qué sigue?