Registrar e chamar modelos de IA remotos na visão geral do AlloyDB

Esta página descreve os principais conceitos que você precisa conhecer antes de registrar um endpoint de modelo de IA e invocar previsões com o gerenciamento de endpoint de modelo.

Para registrar endpoints de modelos remotos com o AlloyDB Omni, consulte Registrar e chamar modelos de IA remotos no AlloyDB Omni.

Visão geral

O gerenciamento de endpoints de modelos é um recurso de IA do AlloyDB que inclui funções e operadores que ajudam a registrar e gerenciar metadados de modelos de IA. É possível registrar um endpoint de modelo, gerenciar metadados de endpoint de modelo no cluster de banco de dados e fazer chamadas para os endpoints de modelo remotos usando consultas SQL.

O gerenciamento de endpoint de modelo fornece a extensão google_ml_integration, que inclui funções que permitem registrar os metadados relacionados a modelos de IA com o AlloyDB. Esses metadados registrados são usados para gerar embeddings vetoriais ou invocar previsões.

O mecanismo de consulta de IA do AlloyDB é um conjunto de funções que se baseiam no gerenciamento de endpoints de modelos (pré-lançamento) e adiciona suporte a operadores de IA que permitem combinar frases de linguagem natural com consultas SQL, como ai.if() para filtros e junções, ai.rank() para ordenação e ai.generate() para gerar resumos dos seus dados. Ele também adiciona suporte a modelos de classificação e multimodais da Vertex AI.

Confira alguns exemplos de tipos de modelos que podem ser registrados usando o gerenciamento de endpoint de modelo:

  • Incorporação de texto e modelos genéricos da Vertex AI
  • Modelo multimodal da Vertex AI (pré-lançamento)
  • Modelos de classificação da Vertex AI (pré-lançamento)
  • Modelos de embedding fornecidos por provedores de terceiros, como o Hugging Face ou o OpenAI
  • Modelos de embedding de texto hospedados de forma personalizada, incluindo modelos auto-hospedados ou disponíveis em endpoints particulares
  • Modelos genéricos com uma API baseada em JSON, por exemplo, modelo facebook/bart-large-mnli hospedado no Hugging Face, modelo gemini-pro do Model Garden da Vertex AI ou modelos claude da Anthropic

Casos de uso

É possível chamar os endpoints de modelo registrados para interagir com os dados existentes no seu banco de dados e gerar embeddings ou previsões. Confira alguns casos de uso de aplicativos:

  • Inferência em tempo real com o aplicativo de transações: oferece recomendações em tempo real com base no histórico de navegação atual do usuário e no conteúdo do carrinho.
  • Identificar o sentimento e gerar resumos: para um banco de dados de avaliações de clientes, gera resumos ou identifica o sentimento principal de cada avaliação.
  • Sistemas inteligentes de pesquisa e recuperação: crie sistemas de pesquisa para um banco de dados de base de conhecimento interna e use a linguagem natural em operadores SQL em vez de palavras-chave.
  • Experiências personalizadas do usuário: otimize uma plataforma de conteúdo para personalizar dinamicamente o conteúdo exibido para cada usuário com base nas interações anteriores.

Para mais informações sobre os casos de uso da IA do AlloyDB, consulte Casos de uso da IA do AlloyDB.

Como funciona

É possível usar o gerenciamento de endpoint de modelo para registrar um endpoint de modelo que obedece aos seguintes requisitos:

  • A entrada e a saída do modelo são compatíveis com o formato JSON.
  • O modelo pode ser chamado usando o protocolo REST.

Quando você registra um endpoint de modelo com o gerenciamento de endpoint de modelo, cada endpoint é registrado com um ID de modelo exclusivo que você forneceu como referência.

É possível usar o ID do endpoint do modelo para consultar modelos e fazer o seguinte:

  • Gerar embeddings para traduzir comandos de texto em vetores numéricos. É possível armazenar embeddings gerados como dados vetoriais quando a extensão vector estiver ativada no banco de dados. Para mais informações, consulte Consultar e indexar embeddings com pgvector.

  • Gerar embeddings multimodais para traduzir dados multimodais, como texto, imagens e vídeos para embeddings. (Visualizar)

  • Classifique ou dê uma nota a uma lista de itens em uma consulta com base em um critério definido usando linguagem natural. (Visualizar)

  • Invocar previsões usando SQL.

Principais conceitos

Antes de começar a usar o gerenciamento de endpoints de modelos, entenda os conceitos necessários para se conectar e usar os modelos.

Esquemas

Seus apps podem acessar o gerenciamento de endpoints de modelos usando a extensão google_ml_integration. A extensão google_ml_integration inclui funções no esquema public, google_ml e ai. Todas as funções estão incluídas no esquema google_ml, e algumas estão disponíveis nos esquemas public e ai.

Para mais informações sobre esquemas, consulte Esquemas.

Provedor de modelo

Provedor de modelo indica os provedores de hospedagem de modelos compatíveis. A configuração do provedor de modelo é opcional, mas ajuda no gerenciamento de endpoints de modelo ao identificar o provedor e formatar automaticamente os cabeçalhos para modelos compatíveis.

Para mais informações sobre o provedor de modelo, consulte Provedor de modelo.

Tipo de modelo

Tipo de modelo indica o tipo do modelo de IA. A extensão oferece suporte a embedding de texto, bem como a qualquer tipo de modelo genérico. O tipo de modelo compatível que você pode definir ao registrar um endpoint de modelo é text-embedding e generic.

A definição do tipo de modelo é opcional ao registrar endpoints de modelo genéricos, porque generic é o tipo de modelo padrão.

Para mais informações sobre o tipo de modelo, consulte Tipo de modelo.

Autenticação

Tipos de autenticação indicam o tipo de autenticação que pode ser usado para se conectar ao gerenciamento de endpoint do modelo usando a extensão google_ml_integration. A configuração de autenticação é opcional e só é necessária se você precisar se autenticar para acessar o modelo.

Para mais informações sobre autenticação, consulte Autenticação.

Funções de previsão

As funções de previsão são funções SQL que permitem interagir com modelos de IA no seu banco de dados do AlloyDB. Essas funções permitem usar consultas SQL padrão para enviar dados a um endpoint de modelo e gerar embeddings ou previsões.

Para mais informações sobre as funções de previsão, consulte Funções de previsão.

Funções de operador

A extensão google_ml_integration inclui as seguintes funções de operador, que usam o Gemini padrão para usar linguagem natural em operadores SQL.

Para mais informações sobre as funções de operador, consulte Funções de operador.

Funções de transformação

As funções de transformação modificam a entrada para um formato que o modelo entende e convertem a resposta do modelo para o formato esperado pela função de previsão. As funções de transformação são usadas ao registrar o endpoint do modelo text-embedding sem suporte integrado. A assinatura das funções de transformação depende da entrada esperada pelo modelo.

Para mais informações sobre as funções de transformação, consulte Funções de transformação.

Função de geração de cabeçalho HTTP

A função de geração de cabeçalho HTTP gera a saída em pares de chave-valor JSON que são usados como cabeçalhos HTTP. A assinatura da função de previsão define as assinaturas da função de geração de cabeçalho.

Para mais informações sobre a função de geração de cabeçalhos HTTP, consulte Função de geração de cabeçalhos HTTP.

A seguir