Affiner les transformations RAG

Une fois un document ingéré, le moteur RAG de Vertex AI exécute un ensemble de transformations pour préparer les données à l'indexation. Vous pouvez contrôler vos cas d'utilisation à l'aide des paramètres suivants:

Paramètre Description
chunk_size Lorsque des documents sont ingérés dans un index, ils sont divisés en segments. Le paramètre chunk_size (en jetons) spécifie la taille du segment. La taille des fragments par défaut est de 1 024 jetons.
chunk_overlap Par défaut, les documents sont divisés en fragments qui se chevauchent légèrement pour améliorer la pertinence et la qualité de récupération. Le chevauchement de fragments par défaut est de 200 jetons.

Une taille de fragment plus petite signifie que les embeddings sont plus précis. Une taille de fragment plus importante signifie que les embeddings peuvent être plus généraux, mais peuvent passer à côté de détails spécifiques.

Par exemple, si vous convertissez 1 000 mots en un tableau de représentations vectorielles continues conçu pour 200 mots, vous risquez de perdre des détails. La capacité d'embedding est fixe pour chaque segment. Un grand volume de texte peut ne pas tenir dans un modèle de petite fenêtre.

Étape suivante