Vertex AI ofrece un conjunto de APIs para ayudarte a compilar tus propias aplicaciones de Generación mejorada por recuperación (RAG) o tu propio motor de búsqueda. En esta página, se presentan esas APIs.
Recuperación y generación
La RAG es una metodología que permite que los modelos de lenguaje grandes (LLM) generen respuestas basadas en la fuente de datos que elijas. Existen dos etapas en RAG:
- Recuperación: Obtener los datos más relevantes rápidamente puede ser un problema de búsqueda común. Con la RAG, puedes recuperar rápidamente los datos importantes para generar una respuesta.
- Generación: El LLM usa los hechos recuperados para generar una respuesta fundamentada.
Vertex AI ofrece opciones para ambas etapas que se adaptan a una variedad de necesidades de los desarrolladores.
Recuperación
Elige el mejor método de recuperación para tus necesidades:
Vertex AI Search: Vertex AI Search es un motor de recuperación de información con la calidad de la Búsqueda de Google que puede ser un componente de cualquier aplicación de IA generativa que use tus datos empresariales. Vertex AI Search funciona como un motor de búsqueda semántico y de palabras clave listo para usar para RAG con la capacidad de procesar una variedad de tipos de documentos y con conectores a una variedad de sistemas fuente, incluidos BigQuery y muchos sistemas de terceros.
Para obtener más información, consulta Vertex AI Search.
Crea tu propia recuperación: Si quieres crear tu búsqueda semántica, puedes usar las APIs de Vertex AI para los componentes de tu sistema RAG personalizado. Este conjunto de APIs proporciona implementaciones de alta calidad para el análisis de documentos, la generación de incorporaciones, la búsqueda de vectores y la clasificación semántica. El uso de estas APIs de nivel inferior te brinda flexibilidad total en el diseño de tu recuperador y, al mismo tiempo, ofrece un tiempo de comercialización acelerado y alta calidad, ya que se basa en las APIs de Vertex AI de nivel inferior.
Para obtener más información, consulta Crea tu propia generación aumentada por recuperación.
Incorpora una recuperación existente: Puedes usar tu búsqueda existente como un recuperador para la generación fundamentada. También puedes usar las APIs de Vertex para RAG y mejorar la calidad de tu búsqueda existente. Para obtener más información, consulta Descripción general de la fundamentación.
Vertex AI RAG Engine: Vertex AI RAG Engine proporciona un entorno de ejecución completamente administrado para la organización de RAG, lo que permite a los desarrolladores compilar RAG para su uso en contextos de producción y listos para empresas.
Para obtener más información, consulta la Descripción general del motor de RAG de Vertex AI en la documentación de la IA generativa en Vertex AI.
Búsqueda de Google: Cuando usas la fundamentación con la Búsqueda de Google para tu modelo de Gemini, Gemini usa la Búsqueda de Google y genera resultados fundamentados en los resultados de la búsqueda pertinentes. Este método de recuperación no requiere administración y te brinda el conocimiento del mundo disponible para Gemini.
Para obtener más información, consulta Fundamentación con la Búsqueda de Google en la documentación de la IA generativa en Vertex AI.
Generación
Elige el mejor método de generación según tus necesidades:
Fundamentar con tus datos: Genera respuestas fundamentadas a la consulta de un usuario. La API de Grounded Generation usa modelos de Gemini especializados y perfeccionados, y es una forma eficaz de reducir las alucinaciones y proporcionar respuestas basadas en tus fuentes o fuentes de terceros, incluidas las referencias al contenido de asistencia para la fundamentación.
Para obtener más información, consulta Cómo generar respuestas fundamentadas con RAG.
También puedes fundamentar las respuestas con tus datos de Vertex AI Search usando la IA generativa en Vertex AI. Para obtener más información, consulta Fundamenta con tus datos.
Fundamentación con la Búsqueda de Google: Gemini es el modelo más capaz de Google y ofrece fundamentación lista para usar con la Búsqueda de Google. Puedes usarla para crear tu solución de generación fundamentada completamente personalizada.
Para obtener más información, consulta Fundamentación con la Búsqueda de Google en la documentación de Generative AI en Vertex AI.
Model Garden: Si quieres tener el control total y el modelo de tu elección, puedes usar cualquiera de los modelos en Model Garden de Vertex AI para la generación.
Crea tu propia generación mejorada por recuperación
Desarrollar un sistema de RAG personalizado para la fundamentación ofrece flexibilidad y control en cada paso del proceso. Vertex AI ofrece un conjunto de APIs para ayudarte a crear tus propias soluciones de búsqueda. El uso de esas APIs te brinda flexibilidad total en el diseño de tu aplicación de RAG y, al mismo tiempo, ofrece un tiempo de comercialización acelerado y alta calidad, ya que se basa en estas APIs de Vertex AI de nivel inferior.
El analizador de diseño de Document AI. El analizador de diseño de Document AI transforma documentos en varios formatos en representaciones estructuradas, lo que hace que el contenido, como párrafos, tablas, listas y elementos estructurales, como encabezados, encabezados de página y pies de página, sea accesible, y crea fragmentos contextuales que facilitan la recuperación de información en una variedad de apps de IA generativa y descubrimiento.
Para obtener más información, consulta Document AI Layout Parser en la documentación de Document AI.
APIs de Embeddings: Las APIs de Embeddings de Vertex AI te permiten crear embeddings para entradas de texto o multimodales. Los embeddings son vectores de números de punto flotante diseñados para capturar el significado de su entrada. Puedes usar los embeddings para potenciar la búsqueda semántica con la Búsqueda de vectores.
Para obtener más información, consulta Incorporaciones de texto y Incorporaciones multimodales en la documentación de la IA generativa en Vertex AI.
Búsqueda de vectores. El motor de recuperación es una parte clave de tu aplicación de búsqueda o RAG. La Búsqueda de vectores de Vertex AI es un motor de recuperación que puede buscar miles de millones de elementos similares o relacionados de manera semántica a gran escala, con consultas por segundo (QPS) altas, recuperación alta, latencia baja y eficiencia de costos. Puede realizar búsquedas en embeddings densos y admite la búsqueda de palabras clave con embeddings dispersos y la búsqueda híbrida en la vista previa pública.
Para obtener más información, consulta la Descripción general de Vertex AI Vector Search en la documentación de Vertex AI.
API de clasificación. La API de clasificación toma una lista de documentos y los vuelve a clasificar según su relevancia para una búsqueda determinada. En comparación con las incorporaciones que solo analizan la similitud semántica de un documento y una búsqueda, la API de clasificación puede proporcionarte una puntuación más precisa sobre qué tan bien un documento responde a una búsqueda determinada.
Para obtener más información, consulta Mejora la calidad de la búsqueda y la RAG con la API de Ranking.
La API de generación fundamentada. Usa la API de generación fundamentada para generar respuestas bien fundamentadas a la instrucción de un usuario. Las fuentes de fundamentación pueden ser tus almacenes de datos de Vertex AI Search, los datos personalizados que proporciones o la Búsqueda de Google.
Para obtener más información, consulta Genera respuestas fundamentadas.
API para generar contenido. Usa la API de Generate Content para generar respuestas fundamentadas a las instrucciones de un usuario. Las fuentes de fundamentación pueden ser tus almacenes de datos de Vertex AI Search o la Búsqueda de Google.
Para obtener más información, consulta Fundamenta con la Búsqueda de Google o Fundamenta con tus datos.
API de fundamentación de la verificación La API de Check grounding determina qué tan fundamentado está un fragmento de texto determinado en un conjunto determinado de textos de referencia. La API puede generar citas de respaldo a partir del texto de referencia para indicar dónde se admite el texto determinado en los textos de referencia. Entre otras cosas, la API se puede usar para evaluar la fundamentación de las respuestas de los sistemas RAG. Además, como función experimental, la API también genera citas contradictorias que muestran dónde no coinciden el texto determinado y los textos de referencia.
Para obtener más información, consulta Cómo verificar la fundamentación.
Flujo de trabajo: Genera respuestas fundamentadas a partir de datos no estructurados
A continuación, se muestra un flujo de trabajo que describe cómo integrar las APIs de RAG de Vertex AI para generar respuestas fundamentadas a partir de datos no estructurados.
- Importa tus documentos no estructurados, como archivos PDF, archivos HTML o imágenes con texto, a una ubicación de Cloud Storage.
- Procesa los documentos importados con el analizador de diseño. El analizador de diseño desglosa los documentos no estructurados en fragmentos y transforma el contenido no estructurado en su representación estructurada. El analizador de diseño también extrae anotaciones de los fragmentos.
- Crea embeddings de texto para fragmentos con la API de Vertex AI Text embeddings.
- Indexa y recupera los embeddings de fragmentos con Vector Search.
- Clasifica los fragmentos con la API de clasificación y determina los fragmentos mejor clasificados.
- Genera respuestas fundamentadas en los fragmentos mejor clasificados con la API de Grounded Generation o la API de Generate Content.
Si generaste las respuestas con un modelo de generación de respuestas que no sea de Google, puedes verificar la fundamentación de estas respuestas con el método check grounding.