Manter índices vetoriais

Nesta página, descrevemos as opções para manter os índices de vetor. A manutenção de índices ajuda a garantir que eles se adaptem às mudanças de dados que podem afetar a precisão dos resultados da pesquisa. Use as estratégias desta página para evitar a degradação na performance da consulta à medida que o conjunto de dados cresce.

Conferir métricas do índice vetorial

Se a tabela for propensa a atualizações ou inserções frequentes, recomendamos reindexar periodicamente o índice ScaNN para melhorar a precisão de recuperação do índice. É possível monitorar as métricas de índice para conferir mudanças nas distribuições ou mutações de vetor desde que o índice foi criado e, em seguida, reindexar de acordo.

Para mais informações sobre métricas, consulte Conferir métricas do índice vetorial.

Manter índices automaticamente

É possível usar a flag do banco de dados scann.enable_preview_features (GUC) com o parâmetro auto_maintenance no nível do índice ao criar um índice ScaNN. O uso dessas configurações permite que o AlloyDB gerencie o índice de forma incremental, de modo que, quando o conjunto de dados cresce, ele divide grandes partições de valores discrepantes. Ao dividir partições, o AlloyDB tenta fornecer QPS e resultados de pesquisa melhores.

Todas as atualizações feitas no índice como resultado da manutenção automática são permanentes até que o AlloyDB atualize o índice novamente.

Para permitir que o AlloyDB mantenha um índice automaticamente, ative a flag scann.enable_preview_features:

gcloud alloydb instances update INSTANCE_ID \
     --database-flags scann.enable_preview_features=on \
     --region=REGION_ID \
     --cluster=CLUSTER_ID \
     --project=PROJECT_ID

Substitua:

  • INSTANCE_ID: o ID da instância.
  • REGION_ID: a região em que a instância é colocada, por exemplo, us-central1.
  • CLUSTER_ID: o ID do cluster em que a instância está colocada.
  • PROJECT_ID: o ID do projeto em que o cluster está colocado.

Depois de ativar a flag scann.enable_preview_features, você pode ativar a manutenção automática para índices ou ativar a função scann_index_maintenance para invocar manualmente a manutenção.

Ativar a manutenção automática durante a criação do índice

Para criar um índice ScaNN com a manutenção automática ativada, execute o comando de exemplo a seguir:

CREATE INDEX INDEX_NAME ON TABLE
  USING scann (EMBEDDING_COLUMN DISTANCE_FUNCTION)
  WITH (num_leaves=NUM_LEAVES_VALUE, auto_maintenance=on);

Substitua:

  • INDEX_NAME: o nome do índice que você quer criar, por exemplo, my-scann-index. Os nomes dos índices são compartilhados no seu banco de dados. Verifique se cada nome de índice é exclusivo para cada tabela no seu banco de dados.

  • TABLE: a tabela em que o índice será adicionado.

  • EMBEDDING_COLUMN: uma coluna que armazena dados de vector.

  • DISTANCE_FUNCTION: a função de distância a ser usada com esse índice. Escolha uma destas opções:

    • Distância de L2:l2

    • Produto escalar: dot_product

    • Distância do cosseno:cosine

  • NUM_LEAVES_VALUE: o número de partições a serem aplicadas a esse índice. Defina qualquer valor entre 1 e 1048576. Para mais informações sobre como decidir esse valor, consulte Ajustar um índice ScaNN.

Gerenciar folhas para pesquisar partições divididas automaticamente

Se você tiver ativado a manutenção automática de índices, o AlloyDB vai dividir automaticamente as partições quando o limite de num_leaves for atingido. À medida que o número de partições cresce devido a essas divisões, ajuste o número de folhas para pesquisar e manter o desempenho ideal.

Para gerenciar o número de folhas a serem pesquisadas automaticamente, use pct_leaves_to_search. Esse parâmetro permite especificar uma porcentagem do número de partições a serem pesquisadas. Se você espera que o conjunto de dados cresça significativamente, defina o valor pct_leaves_to_search como 1. O parâmetro é desativado por padrão.

Defina esse valor como a porcentagem do número atual de partições. Por exemplo, para pesquisar 1% do número atual de partições, defina esse valor como 1.

É possível definir esse parâmetro como qualquer valor entre 0 e 100. O valor padrão é 0, que desativa esse parâmetro e usa o scann.num_leaves_to_search para calcular o número de folhas a serem pesquisadas.

Para definir a flag pct_leaves_to_search no seu banco de dados, execute o seguinte comando:

ALTER DATABASE DATABASE_NAME SET scann.pct_leaves_to_search = PERCENTAGE_LEAVES_TO_SEARCH;

Substitua:

  • DATABASE_NAME: o nome do banco de dados.
  • PERCENTAGE_LEAVES_TO_SEARCH: a porcentagem de num_leaves a ser pesquisada.

Invocar a manutenção manualmente

Se você quiser invocar a manutenção de um índice específico sob demanda, execute o seguinte comando:

SELECT scann_index_maintenance('INDEX_NAME');

Recriar o índice manualmente

É possível reconstruir manualmente o índice com as configurações especificadas na criação.

Para reconstruir manualmente o índice, execute o seguinte comando:

REINDEX INDEX CONCURRENTLY INDEX_NAME;

Substitua INDEX_NAME pelo nome do índice que você quer reconstruir, por exemplo, my-scann-index. Os nomes dos índices são compartilhados no seu banco de dados. Verifique se cada nome de índice é exclusivo para cada tabela no seu banco de dados.

Para mais informações sobre a reindexação no PostgreSQL, consulte REINDEX.

A seguir