A Vertex AI oferece um pacote de APIs para ajudar você a criar seus próprios aplicativos de geração aumentada de recuperação (RAG) ou seu próprio mecanismo de pesquisa. Esta página apresenta essas APIs.
Recuperação e geração
A RAG é uma metodologia que permite que modelos de linguagem grandes (LLMs) gerem respostas embasadas na fonte de dados escolhida. Há duas etapas no RAG:
- Recuperação: encontrar os fatos mais relevantes rapidamente pode ser um problema comum de pesquisa. Com a RAG, você pode recuperar rapidamente os fatos importantes para gerar uma resposta.
- Geração:os fatos recuperados são usados pelo LLM para gerar uma resposta fundamentada.
A Vertex AI oferece opções para as duas etapas, atendendo a várias necessidades dos desenvolvedores.
Recuperação
Escolha o melhor método de recuperação para suas necessidades:
Vertex AI para Pesquisa:é um mecanismo de recuperação de informações com a qualidade da Pesquisa Google que pode ser um componente de qualquer aplicativo de IA generativa que usa dados corporativos. A Vertex AI para Pesquisa funciona como um mecanismo de pesquisa semântica e de palavras-chave pronto para uso para RAG, com capacidade de processar vários tipos de documentos e conectores para diversos sistemas de origem, incluindo BigQuery e muitos sistemas de terceiros.
Para mais informações, consulte Vertex AI Search.
Crie sua própria recuperação:se quiser criar sua pesquisa semântica, você pode usar as APIs da Vertex AI para componentes do seu sistema RAG personalizado. Esse conjunto de APIs oferece implementações de alta qualidade para análise de documentos, geração de embeddings, pesquisa de vetores e classificação semântica. Usar essas APIs de nível inferior oferece flexibilidade total no design do extrator e, ao mesmo tempo, acelera o tempo de lançamento no mercado e oferece alta qualidade ao depender das APIs de nível inferior da Vertex AI.
Para mais informações, consulte Crie sua própria geração aumentada de recuperação.
Usar uma recuperação atual: você pode usar sua pesquisa atual como um recuperador para geração embasada. Você também pode usar as APIs da Vertex para RAG e melhorar a qualidade da sua pesquisa atual. Para mais informações, consulte Visão geral do embasamento.
Mecanismo de RAG da Vertex AI: o mecanismo de RAG da Vertex AI fornece um ambiente de execução totalmente gerenciado para orquestração de RAG, permitindo que desenvolvedores criem RAG para uso em produção e contextos prontos para empresas.
Para mais informações, consulte a visão geral do mecanismo de RAG da Vertex AI na documentação da IA generativa na Vertex AI.
Pesquisa Google: quando você usa a fundamentação com a Pesquisa Google no seu modelo do Gemini, o Gemini usa a Pesquisa Google e gera uma saída fundamentada nos resultados de pesquisa relevantes. Esse método de recuperação não exige gerenciamento e disponibiliza todo o conhecimento do mundo para o Gemini.
Para mais informações, consulte Embasamento com a Pesquisa Google na documentação da IA generativa na Vertex AI.
Geração
Escolha o melhor método de geração para suas necessidades:
Basear em seus dados: gerar respostas embasadas para uma consulta do usuário. A API de geração embasada usa modelos especializados e refinados do Gemini e é uma maneira eficaz de reduzir alucinações e fornecer respostas embasadas nas suas fontes ou em fontes de terceiros, incluindo referências a conteúdo de suporte de embasamento.
Para mais informações, consulte Gerar respostas embasadas com RAG.
Também é possível embasar respostas com seus dados da Vertex AI para Pesquisa usando a IA generativa na Vertex AI. Para mais informações, consulte Embasamento com seus dados.
Basear com a Pesquisa Google:o Gemini é o modelo mais eficiente do Google e oferece baseamento imediato com a Pesquisa Google. Você pode usar essa ferramenta para criar sua solução de geração fundamentada totalmente personalizada.
Para mais informações, consulte Embasamento com a Pesquisa Google na documentação da IA generativa na Vertex AI.
Model Garden:se você quiser controle total e o modelo de sua escolha, use qualquer um dos modelos no Model Garden da Vertex AI para geração.
Crie sua própria geração aumentada de recuperação
Desenvolver um sistema RAG personalizado para embasamento oferece flexibilidade e controle em todas as etapas do processo. A Vertex AI oferece um pacote de APIs para ajudar você a criar suas próprias soluções de pesquisa. O uso dessas APIs oferece total flexibilidade no design do aplicativo RAG, além de acelerar o tempo de lançamento no mercado e oferecer alta qualidade ao usar essas APIs de nível mais baixo da Vertex AI.
O analisador de layout da Document AI. O analisador de layout da Document AI transforma documentos em vários formatos em representações estruturadas, tornando acessíveis conteúdos como parágrafos, tabelas, listas e elementos estruturais, como cabeçalhos, rodapés e cabeçalhos de página. Ele também cria blocos com reconhecimento de contexto que facilitam a recuperação de informações em uma variedade de apps de IA generativa e descoberta.
Para mais informações, consulte Analisador de layout da Document AI na documentação da Document AI.
API Embeddings:as APIs de embeddings da Vertex AI permitem criar embeddings para entradas de texto ou multimodais. Os embeddings são vetores de números de ponto flutuante projetados para capturar o significado da entrada. É possível usar os embeddings para ativar a pesquisa semântica usando a pesquisa vetorial.
Para mais informações, consulte Embeddings de texto e Embeddings multimodais na documentação da IA generativa na Vertex AI.
Vector Search. O mecanismo de recuperação é uma parte fundamental do seu aplicativo de RAG ou pesquisa. A Vertex AI Vector Search é um mecanismo de recuperação que pode pesquisar em bilhões de itens semanticamente parecidos ou relacionados em grande escala, com altas consultas por segundo (QPS), alto recall, baixa latência e eficiência de custos. Ela pode pesquisar embeddings densos e oferece suporte à pesquisa de palavras-chave com embeddings esparsos e à pesquisa híbrida em pré-lançamento público.
Para mais informações, consulte: Visão geral da pesquisa vetorial da Vertex AI na documentação da Vertex AI.
A API de classificação. A API Ranking recebe uma lista de documentos e os reclassifica com base na relevância deles para uma determinada consulta. Em comparação com incorporações que analisam apenas a similaridade semântica de um documento e uma consulta, a API Ranking pode fornecer uma pontuação mais precisa de como um documento responde a uma determinada consulta.
Para mais informações, consulte Melhorar a qualidade da pesquisa e da RAG com a API Ranking.
A API Grounded Generation. Use a API de geração ancorada para gerar respostas bem fundamentadas ao comando de um usuário. As fontes de embasamento podem ser seus repositórios de dados da Vertex AI para Pesquisa, dados personalizados que você fornece ou a Pesquisa Google.
Para mais informações, consulte Gerar respostas embasadas.
A API de geração de conteúdo. Use a API generate content para gerar respostas bem fundamentadas para um comando do usuário. As fontes de embasamento podem ser seus repositórios de dados da Vertex AI para Pesquisa ou a Pesquisa Google.
Para mais informações, consulte Embasamento com a Pesquisa Google ou Embasamento com seus dados.
A API de verificação de embasamento. A API de verificação de embasamento determina o quanto um determinado trecho de texto está embasado em um conjunto de textos de referência. A API pode gerar citações de apoio do texto de referência para indicar onde o texto fornecido é apoiado pelos textos de referência. Entre outras coisas, a API pode ser usada para avaliar o embasamento das respostas de um sistema RAG. Além disso, como um recurso experimental, a API também gera citações contraditórias que mostram onde o texto fornecido e os textos de referência discordam.
Para mais informações, consulte Verificar o embasamento.
Fluxo de trabalho: gerar respostas embasadas em dados não estruturados
Confira um fluxo de trabalho que descreve como integrar as APIs RAG da Vertex AI para gerar respostas fundamentadas com base em dados não estruturados.
- Importe seus documentos não estruturados, como arquivos PDF, HTML ou imagens com texto, para um local do Cloud Storage.
- Processe os documentos importados usando o analisador de layout. O analisador de layout divide os documentos não estruturados em partes e transforma o conteúdo não estruturado em uma representação estruturada. O analisador de layout também extrai anotações dos blocos.
- Crie embeddings de texto para partes usando a API Text Embeddings da Vertex AI.
- Indexe e recupere os embeddings de trechos usando a Pesquisa de vetor.
- Classifique os trechos usando a API Ranking e determine os trechos mais bem classificados.
- Gere respostas embasadas com base nos trechos mais bem classificados usando a API Grounded Generation ou a API Generate Content.
Se você gerou as respostas usando um modelo de geração de respostas diferente dos modelos do Google, é possível verificar o embasamento dessas respostas usando o método de verificação.