Después de que se transfiere un documento, Vertex AI RAG Engine ejecuta un conjunto de transformaciones para preparar los datos para la indexación. Puedes controlar tus casos de uso con los siguientes parámetros:
| Parámetro | Descripción |
|---|---|
chunk_size |
Cuando se transfieren documentos a un índice, se dividen en fragmentos. El parámetro chunk_size (en tokens) especifica el tamaño del fragmento. El tamaño de fragmento predeterminado es de 1,024 tokens. |
chunk_overlap |
De forma predeterminada, los documentos se dividen en fragmentos con una cierta superposición para mejorar la relevancia y la calidad de la recuperación. La superposición de fragmentos predeterminada es de 256 tokens. |
Un tamaño de fragmento más pequeño significa que los embeddings son más precisos. Un tamaño de fragmento más grande significa que los embeddings pueden ser más generales, pero pueden omitir detalles específicos.
Por ejemplo, si conviertes 1,000 palabras en un array de incorporación que estaba destinado a 200 palabras, es posible que pierdas detalles. La capacidad de incorporación es fija para cada fragmento. Es posible que un fragmento de texto grande no quepa en un modelo de ventana pequeña.