Registrar e chamar modelos de IA remotos na visão geral do AlloyDB

Nesta página, descrevemos os principais conceitos que você precisa conhecer antes de registrar um endpoint de modelo de IA e invocar previsões com o gerenciamento de endpoints de modelo.

Para registrar endpoints de modelos remotos com o AlloyDB Omni, consulte Registrar e chamar modelos de IA remotos no AlloyDB Omni.

Visão geral

O gerenciamento de endpoints de modelo é um recurso da IA do AlloyDB que inclui funções e operadores para ajudar você a registrar e gerenciar metadados de modelos de IA. É possível registrar um endpoint de modelo, gerenciar metadados de endpoint de modelo no cluster de banco de dados e fazer chamadas para os endpoints de modelo remoto usando consultas SQL.

O gerenciamento de endpoints de modelo fornece a extensão google_ml_integration, que inclui funções para registrar os metadados relacionados a modelos de IA com o AlloyDB. Esses metadados registrados são usados para gerar incorporações de vetores ou invocar previsões.

O AlloyDB AI Query Engine é um conjunto de funções que se baseiam no gerenciamento de endpoints de modelos (prévia) e adicionam suporte a operadores de IA que permitem combinar frases de linguagem natural com consultas SQL, como ai.if() para filtros e junções, ai.rank() para ordenação e ai.generate() para gerar resumos dos seus dados. Ele também adiciona suporte para modelos multimodais e de classificação da Vertex AI.

Confira alguns exemplos de tipos de modelos que podem ser registrados usando o gerenciamento de endpoints de modelo:

  • Modelos genéricos e de embedding de texto da Vertex AI
  • Modelo multimodal da Vertex AI (prévia)
  • Modelos de classificação da Vertex AI (pré-lançamento)
  • Modelos de incorporação fornecidos por terceiros, como Hugging Face ou OpenAI
  • Modelos de embedding de texto hospedados de maneira personalizada, incluindo modelos auto-hospedados ou disponíveis por endpoints particulares
  • Modelos genéricos com uma API baseada em JSON, por exemplo, o modelo facebook/bart-large-mnli hospedado no Hugging Face, o modelo gemini-pro do Model Garden da Vertex AI ou os modelos claude da Anthropic

Casos de uso

Você pode chamar os endpoints do modelo registrado para interagir com os dados atuais no banco de dados e gerar embeddings ou previsões. Confira alguns casos de uso de aplicativos:

  • Inferência em tempo real com aplicação de transações: oferece recomendações em tempo real com base no histórico de navegação atual do usuário e no conteúdo do carrinho.
  • Identificar sentimentos e gerar resumos: para um banco de dados de avaliações de clientes, gera resumos ou identifica o sentimento principal de cada avaliação.
  • Sistemas inteligentes de pesquisa e recuperação: crie sistemas de pesquisa para um banco de dados de base de conhecimento interno e faça consultas usando operadores SQL com tecnologia de IA em vez de palavras-chave.
  • Experiências personalizadas do usuário: otimize uma plataforma de conteúdo para personalizar dinamicamente o conteúdo exibido para cada usuário com base nas interações anteriores.

Para mais informações sobre os casos de uso da AlloyDB AI, consulte Casos de uso da AlloyDB AI.

Como funciona

É possível usar o gerenciamento de endpoints de modelo para registrar um endpoint que esteja em conformidade com o seguinte:

  • A entrada e a saída do modelo são compatíveis com o formato JSON.
  • O modelo pode ser chamado usando o protocolo REST.

Ao registrar um endpoint de modelo com o gerenciamento de endpoints de modelo, cada endpoint é registrado com um ID de modelo exclusivo que você forneceu como referência ao modelo.

É possível usar o ID do endpoint do modelo para consultar modelos e fazer o seguinte:

  • Gere embeddings para traduzir comandos de texto em vetores numéricos. É possível armazenar embeddings gerados como dados vetoriais quando a extensão vector está ativada no banco de dados. Para mais informações, consulte Consultar e indexar embeddings com pgvector.

  • Gerar embeddings multimodais para traduzir dados multimodais, como texto, imagens e vídeos, em embeddings. (Visualizar)

  • Classificar ou pontuar uma lista de itens em uma consulta com base em um critério declarado usando linguagem natural. (Visualizar)

  • Invoque previsões usando SQL.

Principais conceitos

Antes de começar a usar o gerenciamento de endpoints de modelo, entenda os conceitos necessários para se conectar e usar os modelos.

Esquemas

Seus aplicativos podem acessar o gerenciamento de endpoints de modelo usando a extensão google_ml_integration. A extensão google_ml_integration inclui funções nos esquemas public, google_ml e ai. Todas as funções estão incluídas no esquema google_ml, e algumas estão disponíveis nos esquemas public e ai.

Para mais informações sobre esquemas, consulte Esquemas.

Provedor de modelos

O provedor de modelo indica os provedores de hospedagem de modelo compatíveis. Definir o provedor de modelo é opcional, mas ajuda no gerenciamento de endpoints de modelo ao identificar o provedor e formatar automaticamente os cabeçalhos para modelos compatíveis.

Para mais informações sobre o provedor de modelos, consulte Provedor de modelos.

Tipo de modelo

O tipo de modelo indica o tipo de modelo de IA. A extensão é compatível com embeddings de texto e qualquer tipo de modelo genérico. Os tipos de modelo compatíveis que podem ser definidos ao registrar um endpoint de modelo são text-embedding e generic.

Definir o tipo de modelo é opcional ao registrar endpoints de modelo genéricos, já que generic é o tipo de modelo padrão.

Para mais informações sobre o tipo de modelo, consulte Tipo de modelo.

Autenticação

Os tipos de autenticação indicam o tipo de autenticação que você pode usar para se conectar ao gerenciamento de endpoints de modelo usando a extensão google_ml_integration. A configuração da autenticação é opcional e só é necessária se você precisar se autenticar para acessar o modelo.

Para mais informações sobre autenticação, consulte Autenticação.

Funções de previsão

As funções de Prediction são funções SQL que permitem interagir com modelos de IA no banco de dados do AlloyDB. Com elas, é possível usar consultas SQL padrão para enviar dados a um endpoint de modelo e gerar embeddings ou previsões.

Para mais informações sobre funções de previsão, consulte Funções de previsão.

Funções de operador

A extensão google_ml_integration inclui as seguintes funções de operador, que usam o Gemini padrão para consultar com operadores SQL com tecnologia de IA.

Para mais informações sobre funções de operador, consulte Funções de operador.

Funções de transformação

As funções de transformação modificam a entrada para um formato que o modelo entende e convertem a resposta do modelo para o formato esperado pela função de previsão. As funções de transformação são usadas ao registrar o endpoint do modelo text-embedding sem suporte integrado. A assinatura das funções de transformação depende da entrada esperada pelo modelo.

Para mais informações sobre as funções de transformação, consulte Funções de transformação.

Função de geração de cabeçalho HTTP

A função de geração de cabeçalho HTTP gera a saída em pares de chave-valor JSON usados como cabeçalhos HTTP. A assinatura da função de previsão define as assinaturas da função de geração de cabeçalho.

Para mais informações sobre a função de geração de cabeçalho HTTP, consulte Função de geração de cabeçalho HTTP.

A seguir