Opções de banco de dados de vetores no mecanismo de RAG da Vertex AI

Nesta página, apresentamos os bancos de dados vetoriais compatíveis com o mecanismo de RAG da Vertex AI. Você também pode conferir como conectar um banco de dados vetorial (repositório de vetores) ao seu corpus de RAG.

Os bancos de dados de vetores são essenciais para permitir a recuperação em aplicativos de RAG. Os bancos de dados vetoriais oferecem uma maneira especializada de armazenar e consultar embeddings de vetores, que são representações matemáticas de texto ou outros dados que capturam significado e relações semânticas. Os embeddings de vetor permitem que os sistemas de RAG encontrem rapidamente e com precisão as informações mais relevantes em uma vasta base de conhecimento, mesmo ao lidar com consultas complexas ou sutis. Quando combinados com um modelo de incorporação, os bancos de dados vetoriais ajudam a superar as limitações dos LLMs e fornecem respostas mais precisas, relevantes e abrangentes.

Bancos de dados vetoriais compatíveis

Ao criar um corpus RAG, o mecanismo RAG da Vertex AI oferece o RagManagedDb pronto para empresas como o banco de dados vetorial padrão, que não exige provisionamento ou gerenciamento adicional. O RagManagedDb oferece opções de pesquisa KNN e ANN e permite mudar para um nível básico para prototipagem e experimentação rápidas. Para saber mais sobre como escolher uma estratégia de recuperação no RagManagedDb ou atualizar o nível, consulte Usar o RagManagedDb com RAG. Para que o mecanismo RAG da Vertex AI crie e gerencie automaticamente o banco de dados de vetores, consulte Criar um corpus RAG.

Além do RagManagedDb padrão, o mecanismo de RAG da Vertex AI permite provisionar e usar seu banco de dados vetorial no corpus de RAG. Nesse caso, você é responsável pelo ciclo de vida e pela escalonabilidade do banco de dados de vetores.

Comparar opções de banco de dados de vetores

Esta tabela lista as opções de bancos de dados de vetores compatíveis com o mecanismo de RAG da Vertex AI e fornece links para páginas que explicam como usar os bancos de dados de vetores no corpus de RAG.

Banco de dados de vetores   Benefícios   Ideal para   Desvantagens Métricas de distância aceitas Tipo de pesquisa Etapa do lançamento
O RagManagedDb (padrão) é um serviço de banco de dados escalonável distribuído regionalmente que oferece consistência e alta disponibilidade muito altas e pode ser usado para uma pesquisa vetorial. fácil simples rápido rápido
  • Nenhuma configuração é necessária.
  • Ideal para casos de uso em grande e pequena escala.
  • Consistência muito alta.
  • Alta disponibilidade.
  • Baixa latência.
  • Excelente para cargas de trabalho transacionais.
  • A CMEK está ativada.
  • Gerar documentos de alto volume.
  • Como criar RAG em escala empresarial.
  • Desenvolver uma prova de conceito rápida.
  • Oferecendo baixa sobrecarga de provisionamento e manutenção.
  • Usar com chatbots.
  • Como criar aplicativos RAG.
  • Para um recall ideal, o recurso ANN exige que o índice seja recriado após mudanças significativas nos seus dados.
 cosine KNN (padrão) e ANN Visualizar
A pesquisa vetorial é o serviço de banco de dados vetorial na Vertex AI otimizado para tarefas de machine learning.
  • Integra-se a outros serviços do Google Cloud .
  • A escalonabilidade e a confiabilidade são compatíveis com a infraestrutura Google Cloud .
  • Usa preços de pagamento por uso.
  • Gerar documentos de alto volume.
  • Como criar RAG em escala empresarial.
  • Gerenciar a infraestrutura de banco de dados vetorial.
  • Clientes Google Cloud atuais ou qualquer pessoa que queira usar vários serviços Google Cloud .
  • As atualizações não são refletidas imediatamente.
  • Dependência de fornecedor com Google Cloud.
  • Pode ser mais caro dependendo dos seus casos de uso.
 cosine

dot-product		 ANN Disponibilidade geral
A Vertex AI Feature Store é um serviço gerenciado para organizar, armazenar e disponibilizar atributos de machine learning.
  • Integra-se com a Vertex AI e outros serviços do Google Cloud .
  • A escalonabilidade e a confiabilidade são compatíveis com a infraestrutura Google Cloud .
  • Aproveita a infraestrutura atual do BigQuery.
  • Gerar documentos de alto volume.
  • Como criar RAG em escala empresarial.
  • Gerenciar a infraestrutura de banco de dados vetorial.
  • Clientes Google Cloud atuais ou que querem usar vários Google Cloud serviços.
  • As mudanças só ficam disponíveis na loja on-line depois que uma sincronização manual é realizada.
  • Dependência de fornecedor com Google Cloud.
 cosine

dot-product

L2 squared		 ANN Visualizar
O Weaviate é um banco de dados vetorial de código aberto flexível e modular.
  • Compatível com vários tipos de dados e oferece recursos gráficos integrados.
  • Oferece código aberto e uma comunidade vibrante.
  • Altamente flexível e personalizável.
  • Aceita vários tipos de dados e módulos para diferentes modalidades, como texto e imagens.
  • É possível escolher entre provedores de nuvem, como Google Cloud, AWS e Azure.
  • Gerar documentos de alto volume.
  • Como criar RAG em escala empresarial.
  • Gerenciar a infraestrutura de banco de dados vetorial.
  • Clientes atuais do Weaviate.
  • As atualizações não são refletidas imediatamente.
  • Pode ser mais complexo de configurar e gerenciar.
  • A performance pode variar dependendo da configuração.
 cosine

dot-product

L2 squared

hamming

manhattan		 Suporte para pesquisa híbrida e ANN Visualizar
O Pinecone é um banco de dados de vetores nativo da nuvem totalmente gerenciado, projetado para uma pesquisa de similaridade de alto desempenho.
  • Comece a usar rapidamente.
  • Excelente escalonabilidade e desempenho.
  • Foco na pesquisa vetorial com recursos avançados, como filtragem e pesquisa de metadados.
  • É possível escolher entre provedores de nuvem, como Google Cloud, AWS e Azure.
  • Gerar documentos de alto volume.
  • Como criar RAG em escala empresarial.
  • Gerenciar a infraestrutura de banco de dados vetorial.
  • Clientes atuais do Pinecone.
  • As atualizações não são refletidas imediatamente.
  • Pode ser mais cara que outras opções.
  • Cotas e limites restringem a escala e o desempenho.
  • Controle limitado sobre a infraestrutura subjacente.
 cosine

euclidean

dot-product		 ANN Disponibilidade geral

A seguir