Gérer les index vectoriels

Cette page décrit les options permettant de gérer vos index vectoriels. La maintenance des index permet de s'assurer qu'ils s'adaptent aux modifications de données susceptibles d'avoir un impact sur la précision de vos résultats de recherche. Utilisez les stratégies de cette page pour éviter la dégradation des performances des requêtes à mesure que votre ensemble de données augmente.

Avant de commencer

  • Installez ou mettez à jour les extensions vector et alloydb_scann.

    1. Si les extensions vector et alloydb_scann ne sont pas installées, installez les dernières versions des extensions.

      CREATE EXTENSION IF NOT EXISTS vector;
CREATE EXTENSION IF NOT EXISTS alloydb_scann;

    2. Si les extensions vector et alloydb_scann sont déjà installées, mettez-les à niveau vers la dernière version.

      ALTER EXTENSION vector UPDATE;
ALTER EXTENSION alloydb_scann UPDATE;

Afficher les métriques d'index vectoriel

Si votre table est sujette à des mises à jour ou des insertions fréquentes, nous vous recommandons de réindexer régulièrement l'index ScaNN existant afin d'améliorer la précision du rappel pour votre index. Vous pouvez surveiller les métriques d'index pour afficher les modifications apportées aux distributions ou aux mutations de vecteurs depuis la création de l'index, puis le réindexer en conséquence.

Pour en savoir plus sur les métriques, consultez Afficher les métriques d'index vectoriel.

Gérer les index automatiquement

Vous pouvez utiliser l'indicateur de base de données scann.enable_preview_features (GUC) avec le paramètre auto_maintenance au niveau de l'index lors de la création d'un index ScaNN. En utilisant ces paramètres ensemble, AlloyDB peut gérer l'index de manière incrémentielle. Ainsi, lorsque votre ensemble de données augmente, il divise les grandes partitions aberrantes. En divisant les partitions, AlloyDB tente de fournir de meilleurs RPS et résultats de recherche.

Toute modification apportée à l'index à la suite d'une maintenance automatique est définitive jusqu'à ce qu'AlloyDB mette à jour l'index à nouveau.

Pour permettre à AlloyDB de gérer automatiquement un index, activez l'indicateur scann.enable_preview_features :

gcloud alloydb instances update INSTANCE_ID \
     --database-flags scann.enable_preview_features=on \
     --region=REGION_ID \
     --cluster=CLUSTER_ID \
     --project=PROJECT_ID

Remplacez les éléments suivants :

  • INSTANCE_ID : ID de l'instance
  • REGION_ID : région où se trouve l'instance (par exemple, us-central1).
  • CLUSTER_ID : ID du cluster dans lequel l'instance est placée.
  • PROJECT_ID : ID du projet dans lequel le cluster est placé.

Après avoir activé l'indicateur scann.enable_preview_features, vous pouvez activer la maintenance automatique des index ou la fonction scann_index_maintenance pour appeler manuellement la maintenance.

Activer la maintenance automatique lors de la création de l'index

Pour créer un index ScaNN avec la maintenance automatique activée, exécutez l'exemple de commande suivant :

CREATE INDEX INDEX_NAME ON TABLE
  USING scann (EMBEDDING_COLUMN DISTANCE_FUNCTION)
  WITH (num_leaves=NUM_LEAVES_VALUE, auto_maintenance=on);

Remplacez les éléments suivants :

  • INDEX_NAME : nom de l'index que vous souhaitez créer, par exemple my-scann-index. Les noms d'index sont partagés dans toute votre base de données. Assurez-vous que chaque nom d'index est unique pour chaque table de votre base de données.

  • TABLE : table à laquelle ajouter l'index.

  • EMBEDDING_COLUMN : colonne qui stocke les données vector.

  • DISTANCE_FUNCTION : fonction de distance à utiliser avec cet index. Choisissez l'une des options suivantes :

    • Distance L2 : l2

    • Produit scalaire : dot_product

    • Distance de cosinus : cosine

  • NUM_LEAVES_VALUE : nombre de partitions à appliquer à cet index. Définissez une valeur comprise entre 1 et 1 048 576. Pour savoir comment déterminer cette valeur, consultez Ajuster un index ScaNN.

Gérer les nœuds feuilles à rechercher pour les partitions fractionnées automatiquement

Si vous avez activé la maintenance automatique des index, AlloyDB fractionne automatiquement les partitions lorsque le seuil num_leaves est atteint. À mesure que le nombre de partitions augmente en raison de ces fractionnements, vous devez ajuster le nombre de feuilles à rechercher pour maintenir des performances optimales.

Pour gérer automatiquement le nombre de feuilles à rechercher, utilisez pct_leaves_to_search. Ce paramètre vous permet de spécifier un pourcentage du nombre de partitions à rechercher. Si vous pensez que votre ensemble de données va croître de manière significative, commencez par définir la valeur pct_leaves_to_search sur 1. Ce paramètre est désactivé par défaut.

Définissez cette valeur sur le pourcentage du nombre actuel de partitions. Par exemple, pour rechercher 1 % du nombre actuel de partitions, définissez cette valeur sur 1.

Vous pouvez définir ce paramètre sur n'importe quelle valeur comprise entre 0 et 100. La valeur par défaut est 0, ce qui désactive ce paramètre et utilise scann.num_leaves_to_search pour calculer le nombre de feuilles à rechercher.

Pour définir l'indicateur pct_leaves_to_search sur votre base de données, exécutez la commande suivante :

ALTER DATABASE DATABASE_NAME SET scann.pct_leaves_to_search = PERCENTAGE_LEAVES_TO_SEARCH;

Remplacez les éléments suivants :

  • DATABASE_NAME : nom de la base de données.
  • PERCENTAGE_LEAVES_TO_SEARCH : pourcentage de num_leaves à rechercher.

Appeler manuellement la maintenance

Si vous souhaitez appeler la maintenance d'un index particulier à la demande, exécutez la commande suivante :

SELECT scann_index_maintenance('INDEX_NAME');

Recompiler manuellement votre index

Vous pouvez reconstruire manuellement votre index si vous souhaitez le reconstruire avec les configurations que vous avez spécifiées lors de sa création.

Pour reconstruire manuellement votre index, exécutez la commande suivante :

REINDEX INDEX CONCURRENTLY INDEX_NAME;

Remplacez INDEX_NAME par le nom de l'index que vous souhaitez recréer (par exemple, my-scann-index). Les noms d'index sont partagés dans toute votre base de données. Assurez-vous que chaque nom d'index est unique pour chaque table de votre base de données.

Pour en savoir plus sur la réindexation dans PostgreSQL, consultez REINDEX.

Étapes suivantes