微调 RAG 转换

注入文档后,Vertex AI RAG Engine 会运行一组转换,以便为索引编制做好数据准备。您可以使用以下参数控制用例:

参数 说明
chunk_size 将文档注入到索引后,系统会将其拆分为多个块。chunk_size 参数(以词元为单位)指定块的大小。默认块大小为 1,024 个词元。
chunk_overlap 默认情况下,文档会被拆分为有一定重叠度的块,以提高相关性和检索质量。默认块重叠为 200 个词元。

块越小意味着嵌入越精确。较大的块大小意味着嵌入可能更通用,但可能会错过特定细节。

例如,如果您将 1,000 个字词转换为一个仅适用于 200 个字词的嵌入数组,可能会丢失细节。每个分块的嵌入容量是固定的。大文本块可能无法放入小窗口模型中。

后续步骤