Visão geral da IA generativa

Neste documento, descrevemos os recursos de inteligência artificial (IA) generativa compatíveis com o BigQuery ML. Com esses recursos, é possível realizar tarefas de IA no BigQuery ML usando modelos da Vertex AI pré-treinados e modelos integrados do BigQuery ML.

Veja a seguir algumas das tarefas disponíveis:

Acesse um modelo da Vertex AI para executar uma dessas funções criando um modelo remoto no BigQuery ML que representa o endpoint do modelo da Vertex AI. Depois de criar um modelo remoto no modelo da Vertex AI que você quer usar, acesse os recursos desse modelo executando uma função do BigQuery ML no modelo remoto.

Com essa abordagem, é possível usar os recursos desses modelos da Vertex AI em consultas SQL para analisar dados do BigQuery.

Fluxo de trabalho

É possível usar modelos remotos em vez de modelos da Vertex AI e modelos remotos em vez de serviços do Cloud AI com as funções de ML do BigQuery para realizar tarefas complexas de análise de dados e IA generativa.

O diagrama a seguir mostra alguns fluxos de trabalho típicos em que é possível usar esses recursos juntos:

Diagrama mostrando fluxos de trabalho comuns para modelos remotos que usam modelos da Vertex AI ou serviços do Cloud AI.

Geração de texto

A geração de texto é uma forma de IA generativa em que o texto é gerado com base em um comando ou na análise de dados. É possível realizar a geração de texto usando dados textuais e multimodais.

Confira alguns casos de uso comuns para geração de texto:

  • Gerar conteúdo criativo.
  • Gerando código.
  • Gerar respostas por chat ou e-mail.
  • Reuniões de discussão, como sugerir caminhos para produtos ou serviços futuros.
  • Personalização de conteúdo, como sugestões de produtos.
  • Classificar dados aplicando um ou mais rótulos ao conteúdo para classificá-lo em categorias.
  • Identifique os principais sentimentos expressos no conteúdo.
  • Resumir as ideias ou impressões principais transmitidas pelo conteúdo.
  • Identificar uma ou mais entidades importantes em dados visuais ou de texto.
  • Traduzir o conteúdo de dados de texto ou áudio para outro idioma.
  • Gerar texto que corresponda ao conteúdo verbal nos dados de áudio.
  • Adicionar legendas ou realizar perguntas e respostas em dados visuais.

O enriquecimento de dados é uma próxima etapa comum após a geração de texto, em que você enriquece insights da análise inicial combinando-os com outros dados. Por exemplo, você pode analisar imagens de móveis para casa para gerar texto para uma coluna design_type, para que o SKU dos móveis tenha uma descrição associada, como mid-century modern ou farmhouse.

Modelos compatíveis

Para realizar tarefas de IA generativa, é possível usar modelos remotos no BigQuery ML para fazer referência a modelos implantados ou hospedados na Vertex AI. É possível criar os seguintes tipos de modelos remotos:

Como usar modelos de geração de texto

Depois de criar um modelo remoto, use a função ML.GENERATE_TEXT ou AI.GENERATE_TABLE (Visualização) para interagir com esse modelo:

  • Para modelos remotos baseados nos modelos Gemini 1.5 ou 2.0, use a função ML.GENERATE_TEXT para fazer o seguinte:
    • Analisar conteúdo de texto, imagem, áudio, vídeo ou PDF de uma tabela de objetos com um comando fornecido como argumento de função
    • Gerar texto de um comando fornecido em uma consulta ou de uma coluna em uma tabela padrão.
  • Para modelos remotos baseados nos modelos Gemini 1.5 Flash, Gemini 1.5 Pro ou Gemini Flash 2.0, é possível usar a função AI.GENERATE_TABLE para gerar dados estruturados a partir de um comando fornecido em uma consulta ou de uma coluna em uma tabela padrão. A resposta do modelo é formatada com base em um esquema SQL especificado.
  • Para todos os outros tipos de modelos remotos, use a função ML.GENERATE_TEXT com um comando fornecido em uma consulta ou de uma coluna em uma tabela padrão.

Atributos de aterramento e segurança

É possível usar embasamento e atributos de segurança ao usar modelos do Gemini com a função ML.GENERATE_TEXT, desde que você esteja usando uma tabela padrão para entrada. O embasamento permite que Gemini usa informações adicionais da Internet para gerar respostas mais específicas e factuais. Os atributos de segurança permitem que Gemini filtram as respostas que retorna com base que você especificar.

Ajuste supervisionado

Quando você cria um modelo remoto que se refere a qualquer um dos modelos a seguir, é possível configurar o ajuste supervisionado ao mesmo tempo:

  • gemini-1.5-pro-002
  • gemini-1.5-flash-002

Toda inferência ocorre na Vertex AI. Os resultados são armazenados no BigQuery.

Use os seguintes tópicos para testar a geração de texto no BigQuery ML:

Funções da IA generativa

É possível usar funções de IA generativa com modelos do Gemini para analisar texto em uma tabela do BigQuery. Para cada linha na tabela, essas funções geram uma saída com um tipo específico.

As seguintes funções de IA estão disponíveis:

Incorporação

Um embedding é um vetor numérico de alta dimensão que representa uma determinada entidade, como um texto ou um arquivo de áudio. A geração de embeddings permite capturar a semântica dos seus dados de uma maneira que facilita a análise e a comparação deles.

Confira alguns casos de uso comuns para a geração de embeddings:

  • Usar a geração aumentada de recuperação (RAG) para aumentar as respostas do modelo às consultas do usuário fazendo referência a dados adicionais de uma fonte confiável. A RAG oferece melhor precisão factual e consistência de resposta, além de acesso a dados mais recentes do que os de treinamento do modelo.
  • Realizando uma pesquisa multimodal. Por exemplo, usar a entrada de texto para pesquisar imagens.
  • Realizar uma pesquisa semântica para encontrar itens semelhantes para recomendações, substituição e eliminação de registros duplicados.
  • Criar embeddings para usar com um modelo k-means para agrupamento.

Modelos compatíveis

Os seguintes modelos são compatíveis:

Para uma incorporação de texto menor e leve, tente usar um modelo do TensorFlow pré-treinado, como NNLM, SWIVEL ou BERT.

Como usar modelos de geração de embedding

Depois de criar o modelo, use a função ML.GENERATE_EMBEDDING para interagir com ele. Para todos os tipos de modelos com suporte, ML.GENERATE_EMBEDDING trabalha com dados em tabelas padrão. Para modelos de incorporação multimodais, ML.GENERATE_EMBEDDING também funciona com conteúdo visual em tabelas de objetos.

Para modelos remotos, toda a inferência ocorre na Vertex AI. Para outros tipos de modelo, toda a inferência ocorre no BigQuery. Os resultados são armazenados no BigQuery.

Use os seguintes tópicos para testar a geração de texto no BigQuery ML:

Previsão

A previsão é uma técnica que permite analisar dados históricos de séries temporais para fazer uma previsão informada sobre tendências futuras. É possível usar o modelo de série temporal do TimesFM (pré-lançamento) integrado do BigQuery ML para fazer previsões sem precisar criar seu próprio modelo. O modelo integrado do TimesFM funciona com a função AI.FORECAST para gerar previsões com base nos seus dados.

Preços

Você vai receber cobranças pelos recursos de computação usados para executar consultas em modelos. Os modelos remotos fazem chamadas para modelos da Vertex AI, portanto, as consultas em modelos remotos também incorrem em cobranças da Vertex AI.

Para mais informações, consulte Preços do BigQuery ML.

A seguir