Vertex AI para usuários do BigQuery

Use esta página para entender as diferenças entre a Vertex AI e o BigQuery e saiba como integrar a Vertex AI aos fluxos de trabalho atuais do BigQuery. A Vertex AI e o BigQuery trabalham juntos para atender aos casos de uso de machine learning e MLOps.

Para saber mais sobre as diferenças de treinamento de modelos entre a Vertex AI e o BigQuery, consulte Escolher um método de treinamento.

Diferenças entre a Vertex AI e o BigQuerys

Nesta seção, abordamos os serviços da Vertex AI, do BigQuery e do BigQuery ML.

Vertex AI: uma plataforma de IA/ML de ponta a ponta

A Vertex AI é uma plataforma de IA/ML para desenvolvimento e governança de modelos. Os casos de uso comuns incluem:

  • Tarefas de machine learning, como previsão, recomendação e detecção de anomalias
  • Tarefas de IA generativa, como:

    • Geração, classificação, resumo e extração de texto
    • Geração e preenchimento de código
    • Geração de imagens
    • Geração de embeddings

É possível usar o BigQuery para preparar dados de treinamento para modelos da Vertex AI, que podem ser disponibilizados como recursos no Feature Store da Vertex AI.

É possível treinar modelos na Vertex AI de três maneiras:

  • AutoML: treine modelos em conjuntos de dados de imagem, tabelas e vídeo sem escrever código.
  • Treinamento personalizado: execute código de treinamento personalizado atendendo ao seu caso de uso específico.
  • Ray na Vertex AI: use o Ray para escalonar aplicativos de IA e Python, como machine learning.

Também é possível importar um modelo treinado em outra plataforma, como o BigQuery ML ou o XGBoost.

É possível registrar modelos personalizados no Vertex AI Model Registry. Também é possível importar modelos treinados fora da Vertex AI e registrá-los no Vertex AI Model Registry. Você não precisa registrar modelos do AutoML. Eles são registrados automaticamente no momento da criação.

No registro, é possível gerenciar versões de modelos, fazer implantações em endpoints para previsões on-line, realizar avaliações de modelos, monitorar implantações com o Vertex AI Model Monitoring e usar a Vertex Explainable AI.

Idiomas disponíveis:

BigQuery: um armazenamento de dados corporativo sem servidor e com várias nuvens

O BigQuery é um armazenamento de dados corporativo totalmente gerenciado que ajuda a gerenciar e analisar dados com recursos integrados, como aprendizado de máquina, análise geoespacial e business intelligence. As tabelas do BigQuery podem ser consultadas pelo SQL, e os cientistas de dados que usam principalmente SQL podem executar consultas grandes com apenas algumas linhas de código.

Também é possível usar o BigQuery como um armazenamento de dados referenciado ao criar modelos tabulares e personalizados na Vertex AI. Para saber mais sobre como usar o BigQuery como um armazenamento de dados, consulte Visão geral do armazenamento do BigQuery.

Idiomas disponíveis:

Para saber mais, consulte Dialetos SQL do BigQuery.

BigQuery ML: machine learning diretamente no BigQuery

O BigQuery ML permite desenvolver e invocar modelos no BigQuery. Com o BigQuery ML, é possível usar o SQL para treinar modelos de ML diretamente no BigQuery sem precisar mover dados ou se preocupar com a infraestrutura de treinamento subjacente. É possível criar previsões em lote para modelos do BigQuery ML e receber insights dos dados do BigQuery.

Também é possível acessar modelos da Vertex AI usando o BigQuery ML. É possível criar um modelo remoto do BigQuery ML usando um modelo integrado da Vertex AI, como o Gemini, ou um modelo personalizado da Vertex AI. Você interage com o modelo remoto usando SQL no BigQuery, assim como qualquer outro modelo do BigQuery ML, mas todo o treinamento e a inferência do modelo remoto são processados na Vertex AI.

Idioma disponível:

Para saber mais sobre as vantagens de usar o BigQuery ML, consulte Introdução à IA e ao ML no BigQuery.

Benefícios de gerenciar modelos do BigQuery ML na Vertex AI

É possível registrar seus modelos do BigQuery ML no Model Registry para gerenciá-los na Vertex AI. O gerenciamento de modelos do BigQuery ML na Vertex AI oferece dois benefícios principais:

  • Exibição de modelo on-line: o BigQuery ML é compatível apenas com previsões em lote para seus modelos. Para receber previsões on-line, é possível treinar seus modelos no BigQuery ML e implantá-los em endpoints da Vertex AI usando o Vertex AI Model Registry.

  • Recursos de MLOps: os modelos são mais benéficos quando são atualizados por meio de treinamento contínuo. A Vertex AI oferece ferramentas de MLOps que automatizam o monitoramento e o retreinamento de modelos para manter a precisão das previsões ao longo do tempo. Com o Vertex AI Pipelines, é possível usar operadores do BigQuery para conectar qualquer job do BigQuery (incluindo o BigQuery ML) a um pipeline de ML. Com o monitoramento de modelos da Vertex AI, é possível monitorar suas previsões do BigQuery ML ao longo do tempo.

Uma imagem dos produtos do Google Cloud e onde eles se encaixam em um fluxo de trabalho de MLOps

Para saber como registrar seus modelos do BigQuery ML no Model Registry, consulte Gerenciar modelos do BigQuery ML com a Vertex AI.

O que você quer fazer? Recurso
Usar o BigQuery ML para analisar imagens e texto com o Gemini na Vertex AI Como analisar pôsteres de filmes no BigQuery com o Gemini 2.0 Flash
Usar o BigQuery ML para gerar texto em tabelas do BigQuery ou dados não estruturados com modelos de fundação na Vertex AI Gerar texto usando o BigQuery ML e modelos de fundação na Vertex AI
Gerar embeddings de vetores com o BigQuery ML em texto e imagens Chamar um endpoint de incorporação multimodal na Vertex AI do BigQuery ML para gerar incorporações para pesquisa semântica
Usar dois pipelines de fluxos de trabalho tabulares da Vertex AI para treinar um modelo do AutoML usando configurações diferentes. Fluxo de trabalho tabular: pipeline tabular do AutoML
Use o SDK da Vertex AI para Python para treinar um modelo de AutoML para regressão tabular e receber previsões em lote do modelos SDK do Vertex AI para Python: modelo de regressão tabular do treinamento do AutoML para previsão em lote usando o BigQuery
Treinar e avaliar um modelo de propensão no BigQuery ML para prever a retenção de usuários em um jogo para dispositivos móveis. Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML.
Usar o BigQuery ML para otimizar os preços dos dados de CDM Análise de otimização de preços nos dados de preços de CDM

A seguir