Tutoriais do Vertex AI Jupyter Notebook

Este documento contém uma lista de todos os tutoriais do Vertex AI Jupyter Notebook. São tutoriais completos que mostram como pré-processar dados, treinar, implantar e usar modelos para inferência.

Há muitos ambientes em que você pode hospedar notebooks do Jupyter. É possível:

  • Faça o download no GitHub e execute-os na sua máquina local
  • Faça o download deles no GitHub e execute-os em um servidor Jupyter ou JupyterLab na sua rede local
  • Execute-os na nuvem usando um serviço como o Colaboratory (Colab) ou o Vertex AI Workbench.

Colab

Executar um Jupyter Notebook no Colab é uma maneira fácil de começar rapidamente.

Para abrir um tutorial do notebook no Colab, clique no link Colab na lista de notebooks. O Colab cria uma instância de VM com todas as dependências necessárias, inicia o ambiente do Colab e carrega o notebook.

Vertex AI Workbench

Também é possível executar o notebook usando notebooks gerenciados pelo usuário. Ao criar uma instância de notebooks gerenciada pelo usuário com o Vertex AI Workbench, você tem controle total sobre a VM de hospedagem. É possível especificar a configuração e o ambiente da VM de hospedagem.

Para abrir um tutorial de notebook em uma instância do Vertex AI Workbench:

  1. Clique no link Vertex AI Workbench na lista de notebooks. O link abre o console do Vertex AI Workbench.
  2. Na tela Implantar no notebook, digite um nome para a nova instância do Vertex AI Workbench e clique em Criar.
  3. Na caixa de diálogo Pronto para abrir o notebook que aparece após o início da instância, clique em Abrir.
  4. Na página Confirmar implantação no servidor de notebook, selecione Confirmar.
  5. Antes de executar o notebook, selecione Kernel > Reiniciar kernel e limpar todas as saídas.

Lista de notebooks

Serviços Descrição Abrir em
Classificação para dados tabulares
Treinamento e previsão tabulares do AutoML
Saiba como treinar e fazer previsões em um modelo do AutoML baseado em um conjunto de dados tabular. Saiba mais sobre a classificação de dados tabulares.

Etapas do tutorial

  • Criar um job de treinamento de modelo da Vertex AI.
  • Treinar um modelo tabular do AutoML.
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão ao enviar dados.
  • Desfazer a implantação do recurso modelo
Colab
GitHub
Vertex AI Workbench
Classificação de dados de texto
Criar, treinar e implantar um modelo de classificação de texto do AutoML
Saiba como usar o AutoML para treinar um modelo de classificação textual. Saiba mais sobre a classificação de dados de texto.

Etapas do tutorial

  • Criar um conjunto de dados da Vertex AI
  • Treinar um recurso de modelo de classificação de texto do AutoML
  • Conseguir as métricas de avaliação do recurso "Modelo".
  • Crie um recurso "Endpoint"
  • Implantar o recurso "Modelo" no recurso "Endpoint".
  • Faça uma previsão on-line.
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
Receber previsões de um modelo de classificação de imagens
Modelo de classificação de imagem de treinamento do AutoML para previsão em lote.
Neste tutorial, você cria um modelo de classificação de imagens do AutoML a partir de um script Python e, em seguida, faz uma previsão em lote usando o SDK da Vertex AI. Saiba mais sobre Como receber predições de um modelo de classificação de imagem.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
Receber previsões de um modelo de classificação de imagens
Modelo de classificação de imagem de treinamento da AutoML para previsão on-line
Neste tutorial, você cria um modelo de classificação de imagens do AutoML e implanta a previsão on-line de um script Python usando o SDK da Vertex AI. Saiba mais sobre Como receber predições de um modelo de classificação de imagem.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão.
  • Remover a implantação do modelo.
Colab
GitHub
Vertex AI Workbench
AutoML
Modelo de detecção de objetos de imagem de treinamento do AutoML para exportação para a borda.
Neste tutorial, você cria um modelo de detecção de objetos de imagem do AutoML a partir de um script Python usando o SDK da Vertex AI e exporta o modelo como um modelo do Edge no formato TFLite.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Exportar o modelo "Edge" do recurso "Model" para o Cloud Storage.
  • Faça o download do modelo localmente.
  • Fazer uma previsão local
Colab
GitHub
Vertex AI Workbench
Detecção de objetos para dados de imagem
Modelo de detecção de objetos de imagem de treinamento do AutoML para previsão on-line.
Neste tutorial, você cria um modelo de detecção de objetos de imagem do AutoML e implanta a previsão on-line de um script Python usando o SDK da Vertex AI. Saiba mais sobre a detecção de objetos para dados de imagem.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão.
  • Remover a implantação do modelo.
Colab
GitHub
Vertex AI Workbench
Fluxo de trabalho tabular para o AutoML E2E
Pipelines de fluxo de trabalho tabular do AutoML.
Saiba como criar dois modelos de regressão usando os Vertex AI Pipelines baixados dos componentes de pipelines do Google Cloud . Saiba mais sobre o Fluxo de trabalho tabular para o AutoML E2E.

Etapas do tutorial

  • Criar um pipeline de treinamento que reduza o espaço de pesquisa do padrão para poupar tempo.
  • Criar um pipeline de treinamento que reutilize os resultados da pesquisa de arquitetura do pipeline anterior para economizar tempo.
Colab
GitHub
Vertex AI Workbench
Extração de entidade para dados de texto
Modelo de extração de entidade de texto de treinamento do AutoML para previsão em lote.
Neste tutorial, você cria um modelo de extração de entidade de texto do AutoML a partir de um script Python e, em seguida, faz uma previsão em lote usando o SDK da Vertex AI. Saiba mais sobre a extração de entidade para dados de texto.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
AutoML
Modelo de análise de sentimento de texto de treinamento do AutoML para previsão em lote.
Neste tutorial, você cria um modelo de análise de sentimento de texto do AutoML a partir de um script Python e, em seguida, faz uma previsão em lote usando o SDK da Vertex AI.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
Treinamento do AutoML
Primeiros passos com o AutoML Training.
Saiba como usar o AutoML para treinamento com a Vertex AI. Saiba mais sobre o treinamento do AutoML.

Etapas do tutorial

  • Treinar um modelo de imagem
  • Exportar o modelo de imagem como um modelo de borda
  • Treinar um modelo tabular
  • Exportar o modelo tabular como um modelo de nuvem
  • Treinar um modelo de texto
  • Treinar um modelo de vídeo
Colab
GitHub
Vertex AI Workbench
Previsão hierárquica de dados tabulares
Previsão hierárquica de treinamento do AutoML para previsão em lote.
Neste tutorial, você cria um modelo de previsão hierárquica de AutoML e o implanta para previsão em lote usando o SDK Vertex AI para Python. Saiba mais sobre a Previsão hierárquica de dados tabulares.

Etapas do tutorial

  • Criar um recurso "TimeSeriesDataset" da Vertex AI.
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
Detecção de objetos para dados de imagem
Modelo de detecção de objetos de imagem de treinamento do AutoML para previsão em lote.
Neste tutorial, você cria um modelo de detecção de objetos de imagem do AutoML usando um script Python e, em seguida, faz uma previsão em lote usando o SDK Vertex AI. Saiba mais sobre a detecção de objetos para dados de imagem.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
Previsão de dados tabulares
Modelo de previsão tabular do AutoML para previsão em lote.
Saiba como criar um modelo de previsão tabular do AutoML usando um script Python e, em seguida, fazer uma previsão em lote usando o SDK Vertex AI. Saiba mais sobre a previsão de dados tabulares.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar um recurso de modelo de previsão tabular do "AutoML".
  • Conseguir as métricas de avaliação do recurso "Modelo".
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
Regressão para dados tabulares
Modelo de regressão tabular do treinamento de AutoML para previsão em lote usando o BigQuery.
Saiba como criar um modelo de regressão tabular do AutoML e implantá-lo para previsão em lote usando o SDK da Vertex AI para Python. Saiba mais sobre regressão para dados tabulares.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão.
  • Remover a implantação do modelo.
Colab
GitHub
Vertex AI Workbench
Regressão para dados tabulares
Modelo de regressão tabular do treinamento de AutoML para previsão on-line usando o BigQuery.
Saiba como criar um modelo de regressão tabular do AutoML e implantar para previsão on-line a partir de um script Python usando o SDK da Vertex AI. Saiba mais sobre regressão para dados tabulares.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão.
  • Remover a implantação do modelo.
Colab
GitHub
Vertex AI Workbench
Extração de entidade para dados de texto
Modelo de extração de entidade de texto de treinamento do AutoML para previsão on-line.
Saiba como criar um modelo de extração de entidade de texto do AutoML e implantar para previsão on-line de um script Python usando o SDK Vertex AI. Saiba mais sobre a extração de entidade para dados de texto.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão.
  • Remover a implantação do modelo.
Colab
GitHub
Vertex AI Workbench
Análise de sentimento para dados de texto
Como treinar um modelo de análise de sentimento de texto do AutoML para previsões on-line.
Saiba como criar um modelo de análise de sentimento de texto do AutoML e implantá-lo para previsões on-line de um script Python usando o SDK Vertex AI. Saiba mais sobre a análise de sentimento para dados de texto.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Criar um job de treinamento para o modelo do AutoML no conjunto de dados
  • Ver as métricas de avaliação do modelo.
  • Implante o recurso "Modelo da Vertex AI" em um "endpoint da Vertex AI".
  • Fazer uma solicitação de previsão para o modelo implantado.
  • Desfazer a implantação do modelo do endpoint.
  • Realize o processo de limpeza.
Colab
GitHub
Vertex AI Workbench
Reconhecimento de ação para dados de vídeo
Modelo de reconhecimento de ações em vídeo de treinamento do AutoML para previsão em lote.
Saiba como criar um modelo de reconhecimento de ações em vídeo do AutoML usando um script Python e, em seguida, fazer uma previsão em lote usando o SDK Vertex AI. Saiba mais sobre o reconhecimento de ação para dados de vídeo.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
Classificação para dados de vídeo
Modelo de classificação de vídeo de treinamento do AutoML para previsão em lote.
Saiba como criar um modelo de classificação de vídeos do AutoML usando um script Python e, em seguida, fazer uma previsão em lote usando o SDK Vertex AI. Saiba mais sobre a classificação de dados de vídeo.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
Rastreamento de objetos para dados de vídeo
Modelo de rastreamento de objetos de vídeo de treinamento do AutoML para previsão em lote.
Saiba como criar um modelo de rastreamento de objetos de vídeo do AutoML a partir de um script Python e, em seguida, fazer uma previsão em lote usando o SDK Vertex AI. Saiba mais sobre o rastreamento de objetos para dados de vídeo.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
BigQuery ML
Comece a usar o BigQuery ML Training.
Saiba como usar o BigQueryML para treinamento com a Vertex AI. Saiba mais sobre o BigQuery ML.

Etapas do tutorial

  • Criar uma tabela local do BigQuery no seu projeto
  • Treinar um modelo do BigQuery ML
  • Avaliar o modelo do BigQuery ML
  • Exportar o modelo do BigQuery ML como um modelo de nuvem
  • Fazer upload do modelo exportado como um recurso de "Modelo da Vertex AI".
  • Os hiperparâmetros ajustam um modelo do BigQuery ML com o "Vertex AI Vizier".
  • Registrar automaticamente um modelo do BigQuery ML no "Registro de modelo da Vertex AI".
Colab
GitHub
Vertex AI Workbench
Treinamento personalizado
Previsão da Vertex AI
Como implantar o modelo de detecção de íris usando a API Fast Service e a exibição de contêiner personalizado da Vertex AI.
Saiba como criar, implantar e exibir um modelo de classificação personalizado na Vertex AI. Saiba mais sobre o treinamento personalizado. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Treine um modelo que usa as medidas de flor como entrada para prever a classe da íris.
  • Salve o modelo e o pré-processador serializado.
  • Crie um servidor FastAPI para processar previsões e verificações de integridade.
  • Crie um contêiner personalizado com artefatos de modelo.
  • Fazer upload e implantar o contêiner personalizado no Endpoints da Vertex AI
Colab
GitHub
Vertex AI Workbench
Vertex AI Training
Como treinar um modelo do TensorFlow com dados do BigQuery
Saiba como criar um modelo treinado personalizado de um script Python em um contêiner do Docker usando o SDK da Vertex AI para Python e, em seguida, receber uma previsão do modelo implantado enviando dados. Saiba mais sobre o Vertex AI Training.

Etapas do tutorial

  • Criar um TrainingPipeline personalizado do Vertex AI para treinar um modelo.
  • Treinar um modelo do TensorFlow
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão.
  • Desfazer a implantação do recurso modelo
Colab
GitHub
Vertex AI Workbench
Treinamento personalizado
Treinamento personalizado com contêiner de treinamento personalizado e registro automático do modelo.
Neste tutorial, você cria um modelo personalizado de um script Python em um contêiner do Docker personalizado usando o SDK da Vertex AI e registra automaticamente o modelo no Vertex AI Model Registry. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Criar um job personalizado da Vertex AI para treinar um modelo.
  • Treinar e registrar um modelo do TensorFlow usando um contêiner personalizado.
  • Liste o modelo registrado no Vertex AI Model Registry.
Colab
GitHub
Vertex AI Workbench
Criador de perfil do TensorBoard da Vertex AI
Gerar um perfil de desempenho de treinamento do modelo usando o Profiler
Saiba como ativar o TensorBoard Profiler da Vertex AI para jobs de treinamento personalizados. Saiba mais sobre o Vertex AI TensorBoard Profiler.

Etapas do tutorial

  • Criar uma conta de serviço e um bucket do Cloud Storage
  • Criar uma instância do TensorBoard da Vertex AI
  • Criar e executar um job de treinamento personalizado
  • Acesse o painel do Vertex AI TensorBoard Profiler
Colab
GitHub
Vertex AI Workbench
Treinamento personalizado
Comece a usar o Vertex AI Training para XGBoost.
Saiba como usar o Vertex AI Training para treinar um modelo personalizado do XGBoost. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Treinamento usando um pacote Python.
  • Gerar relatórios de precisão ao ajustar hiperparâmetros.
  • Salve os artefatos do modelo no Cloud Storage usando o Cloud StorageFuse.
  • Crie um recurso "Modelo da Vertex AI".
Colab
GitHub
Vertex AI Workbench
Recursos compartilhados entre implantações
Primeiros passos com o endpoint e a VM compartilhada.
Saiba como usar pools de recursos de implantação para implantar modelos. Saiba mais sobre recursos compartilhados em implantações.

Etapas do tutorial

  • Fazer o upload de um modelo de classificação de imagem pré-treinado como um recurso "Modelo" (modelo A).
  • Fazer upload de um modelo de codificador de sentença de texto pré-treinado como um recurso "Modelo" (modelo B).
  • Crie um pool de recursos de implantação de VM compartilhada.
  • Listar pools de recursos de implantação de VM compartilhada.
  • Criar dois recursos de "Endpoint".
  • Implantar o primeiro modelo (modelo A) no primeiro recurso "Endpoint" usando o pool de recursos de implantação.
  • Implantar o segundo modelo (modelo B) no segundo recurso de endpoint usando o pool de recursos de implantação.
  • Faça uma solicitação de previsão com o primeiro modelo implantado (modelo A).
  • Faça uma solicitação de previsão com o segundo modelo implantado (modelo B).
Colab
GitHub
Vertex AI Workbench
Treinamento personalizado
Previsão em lote da Vertex AI
Treinamento personalizado e previsão em lote.
Saiba como usar o treinamento da Vertex AI para criar um modelo treinado personalizado e como usar a previsão em lote da Vertex AI para fazer uma previsão em lote no modelo treinado. Saiba mais sobre o treinamento personalizado. Saiba mais sobre a Previsão em lote da Vertex AI.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do TensorFlow.
  • Faça upload dos artefatos do modelo treinado como um recurso "Modelo".
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
Treinamento personalizado
Previsão da Vertex AI
Treinamento personalizado e previsão on-line
Saiba como usar o Vertex AI Training para criar um modelo treinado personalizado de um script Python em um contêiner do Docker e como usar a Vertex AI Prediction para fazer uma previsão no modelo implantado ao enviar dados. Saiba mais sobre o treinamento personalizado. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do TensorFlow.
  • Fazer upload dos artefatos do modelo treinado em um recurso "Modelo".
  • Criar um recurso de "endpoint" em exibição.
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão.
  • Desfazer a implantação do recurso modelo
Colab
GitHub
Vertex AI Workbench
Conjuntos de dados do BigQuery
Vertex AI para usuários do BigQuery
Primeiros passos com os conjuntos de dados do BigQuery.
Saiba como usar o BigQuery como um conjunto de dados para treinamento com a Vertex AI. Saiba mais sobre os conjuntos de dados do BigQuery. Saiba mais sobre a Vertex AI para usuários do BigQuery.

Etapas do tutorial

  • Criar um recurso "Conjunto de dados" da Vertex AI da tabela "BigQuery" compatível com treinamento do "AutoML".
  • Extraia uma cópia do conjunto de dados do "BigQuery" para um arquivo CSV no Cloud Storage compatível com "AutoML" ou treinamento personalizado.
  • Selecione linhas de um conjunto de dados do BigQuery em um dataframe pandas compatível com treinamento personalizado.
  • Selecione linhas de um conjunto de dados do "BigQuery" em um "tf.data.Dataset" compatível com modelos de treinamento personalizados do "TensorFlow".
  • Selecione linhas de arquivos CSV extraídos em um "tf.data.Dataset" compatível com modelos de treinamento personalizados do "TensorFlow".
  • Criar um conjunto de dados do BigQuery a partir de arquivos CSV.
  • Extraia dados da tabela "BigQuery" em um "DMatrix" compatível com modelos de treinamento personalizados do "XGBoost".
Colab
GitHub
Vertex AI Workbench
Rotulagem de dados da Vertex AI
Comece a usar a rotulagem de dados da Vertex AI.
Saiba como usar o serviço de rotulagem de dados da Vertex AI. Saiba mais sobre a rotulagem de dados da Vertex AI.

Etapas do tutorial

  • Criar um pool de especialistas para rotuladores de dados.
  • Criar um job de rotulagem de dados
  • Envie o job de rotulagem de dados.
  • Listar jobs de rotulagem de dados.
  • Criar um job de rotulagem de dados.
Colab
GitHub
Vertex AI Workbench
Experimentos da Vertex AI
Metadados do ML da Vertex
Crie linhagem de experimento da Vertex AI para treinamento personalizado.
Saiba como integrar o código de pré-processamento em um experimento da Vertex AI. Saiba mais sobre os experimentos da Vertex AI. Saiba mais sobre o Vertex ML Metadata.

Etapas do tutorial

  • Executar módulo para pré-processamento de dados
  • Criar um artefato de conjunto de dados
  • Parâmetros de registro
  • Executar módulo para treinar o modelo
  • Parâmetros de registro
  • Criar artefato do modelo
  • Atribuir linhagem de rastreamento a conjuntos de dados, modelos e parâmetros
Colab
GitHub
Vertex AI Workbench
Experimentos da Vertex AI
Rastrear parâmetros e métricas para modelos treinados localmente.
Saiba como usar os experimentos da Vertex AI para comparar e avaliar os experimentos de modelos. Saiba mais sobre os experimentos da Vertex AI.

Etapas do tutorial

  • Registrar os parâmetros do modelo
  • registrar a perda e as métricas em cada época no Vertex AI TensorBoard.
  • Registrar as métricas de avaliação
Colab
GitHub
Vertex AI Workbench
Experimentos da Vertex AI
Pipelines da Vertex AI
Compare execuções de pipeline com os experimentos da Vertex AI.
Saiba como usar os experimentos da Vertex AI para registrar um job de pipeline e comparar diferentes jobs de pipeline. Saiba mais sobre os experimentos da Vertex AI. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Formalizar um componente de treinamento
  • Criar um pipeline de treinamento
  • Executar vários jobs de pipeline e registrar os resultados
  • Comparar diferentes jobs de pipeline
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
Exclua experimentos desatualizados no TensorBoard da Vertex AI.
Saiba como excluir experimentos desatualizados do TensorBoard da Vertex AI para evitar custos desnecessários de armazenamento. Saiba mais sobre o Vertex AI TensorBoard.

Etapas do tutorial

  • Como excluir a experiência de TB com um par de rótulo de chave-valor predefinido <label_key, label_value=""></label_key,>
  • Como excluir os experimentos de TB criados antes do parâmetro create_time
  • Como excluir os experimentos de TB criados antes do parâmetro "update_time"
Colab
GitHub
Vertex AI Workbench
Experimentos da Vertex AI
Registro automático de treinamento personalizado: script local.
Saiba como registrar automaticamente parâmetros e métricas de um experimento de ML em execução no treinamento da Vertex AI aproveitando a integração com esses experimentos. Saiba mais sobre os experimentos da Vertex AI.

Etapas do tutorial

  • Formalizar a experiência do modelo em um script
  • Executar treinamento de modelo usando o script local no treinamento da Vertex AI
  • Confira os parâmetros e métricas do experimento de ML no Vertex AI Experiments
Colab
GitHub
Vertex AI Workbench
Experimentos da Vertex AI
Metadados do Vertex ML
Treinamento personalizado
Primeiros passos com os experimentos da Vertex AI
Saiba como usar os experimentos da Vertex AI ao treinar com a Vertex AI. Saiba mais sobre os experimentos da Vertex AI. Saiba mais sobre o Vertex ML Metadata. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Treinamento local (notebook)
  • Criar um experimento
  • Criar a primeira execução do experimento
  • Parâmetros e métricas de registro
  • Criar linhagem de artefato
  • Visualizar os resultados do experimento
  • Executar uma segunda execução
  • Comparar as duas execuções no experimento
  • Treinamento do Cloud (Vertex AI)
  • No script de treinamento
Colab
GitHub
Vertex AI Workbench
Experimentos da Vertex AI
Geração automática de registros.
Saiba como usar o Vertex AI Autologging.

Etapas do tutorial

  • Ative a geração automática de registros no SDK da Vertex AI.
  • Treine o modelo scikitlearn e veja o experimento resultante executado com métricas e parâmetros registrados automaticamente na Vertex AI Experiments sem definir uma execução do experimento.
  • Treine o modelo do TensorFlow, verifique as métricas e os parâmetros registrados automaticamente para os experimentos da Vertex AI definindo manualmente uma execução de experimento com aiplatform.start_run()` e `aiplatform.end_run().
  • Desative a geração automática de registros no SDK da Vertex AI, treine um modelo do PyTorch e verifique se nenhum dos parâmetros ou métricas está registrado.
Colab
GitHub
Vertex AI Workbench
Classificação para dados tabulares
Vertex Explainable AI
Modelo de classificação binária tabular do treinamento do AutoML para explicação em lote.
Saiba como usar o AutoML para criar um modelo de classificação binária tabular com base em um script Python. Em seguida, aprenda a usar a Vertex AI Batch Prediction para fazer previsões com explicações. Saiba mais sobre a classificação de dados tabulares. Saiba mais sobre a Vertex Explainable AI.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar um modelo de classificação tabular do AutoML.
  • Veja as métricas de avaliação do modelo treinado.
  • Fazer uma solicitação de previsão em lote com explicabilidade.
Colab
GitHub
Vertex AI Workbench
Classificação para dados tabulares
Vertex Explainable AI
Modelo de classificação tabular do treinamento do AutoML para explicação on-line.
Saiba como usar o AutoML para criar um modelo de classificação binária tabular com um script Python. Em seguida, aprenda a usar a previsão on-line da Vertex AI para fazer previsões on-line com explicações. Saiba mais sobre a classificação de dados tabulares. Saiba mais sobre a Vertex Explainable AI.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar um modelo de classificação tabular do AutoML.
  • Veja as métricas de avaliação do modelo treinado.
  • Criar um recurso de "endpoint" em exibição.
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma solicitação de previsão on-line com explicabilidade.
  • Desfazer a implantação do recurso modelo
Colab
GitHub
Vertex AI Workbench
Vertex AI Explainable
Previsão em lote da Vertex AI
Modelo de classificação de imagem de treinamento personalizado para previsão em lote com explicação
Saiba como usar o treinamento da Vertex AI e a Explainable AI para criar um modelo de classificação de imagem personalizado com explicações. Em seguida, você aprenderá a usar a previsão em lote da Vertex AI para fazer uma solicitação de previsão em lote com explicações. Saiba mais sobre a Vertex Explainable AI. Saiba mais sobre a Previsão em lote da Vertex AI.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do TensorFlow.
  • Veja a avaliação do modelo treinado.
  • Defina os parâmetros de explicação para quando o modelo for implantado.
  • Fazer upload dos artefatos do modelo treinado e dos parâmetros de explicação como um recurso "Modelo".
  • Fazer uma previsão em lote com explicações.
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Previsão da Vertex AI
Modelo de classificação de imagem de treinamento personalizado para previsão on-line com explicação
Saiba como usar o Vertex AI Training e o Explainable AI para criar um modelo de classificação de imagem personalizado com explicações e, em seguida, usar o Vertex AI Prediction para fazer uma solicitação de previsão on-line com explicações. Saiba mais sobre a Vertex Explainable AI. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do TensorFlow.
  • Veja a avaliação do modelo treinado.
  • Defina os parâmetros de explicação para quando o modelo for implantado.
  • Fazer upload dos artefatos do modelo treinados e das explicações como um recurso "Modelo".
  • Criar um recurso de "endpoint" em exibição.
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão com explicação
  • Desfazer a implantação do recurso modelo
Colab
GitHub
Vertex AI Workbench
Vertex AI Explainable
Previsão em lote da Vertex AI
Modelo de regressão tabular de treinamento personalizado para previsão em lote com explicação
Saiba como usar o treinamento da Vertex AI e a Explainable AI para criar um modelo de classificação de imagem personalizado com explicações. Em seguida, você aprenderá a usar a previsão em lote da Vertex AI para fazer uma solicitação de previsão em lote com explicações. Saiba mais sobre a Vertex Explainable AI. Saiba mais sobre a Previsão em lote da Vertex AI.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do TensorFlow.
  • Veja a avaliação do modelo treinado.
  • Defina os parâmetros de explicação para quando o modelo for implantado.
  • Fazer upload dos artefatos do modelo treinados e das explicações como um recurso "Modelo".
  • Fazer uma previsão em lote com explicações.
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Previsão da Vertex AI
Modelo de regressão tabular de treinamento personalizado para previsão on-line com explicação
Saiba como usar o Vertex AI Training e o Explainable AI para criar um modelo de classificação de imagem personalizado com explicações e, em seguida, usar o Vertex AI Prediction para fazer uma solicitação de previsão on-line com explicações. Saiba mais sobre a Vertex Explainable AI. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do TensorFlow.
  • Veja a avaliação do modelo treinado.
  • Defina os parâmetros de explicação para quando o modelo for implantado.
  • Fazer upload dos artefatos do modelo treinados e das explicações como um recurso "Modelo".
  • Criar um recurso de "endpoint" em exibição.
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão com explicação
  • Desfazer a implantação do recurso modelo
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Previsão da Vertex AI
Modelo de regressão tabular do treinamento personalizado para previsão on-line com explicabilidade usando get_metadata.
Saiba como criar um modelo personalizado de um script do Python em um contêiner do Docker pré-criado do Google usando o SDK da Vertex AI e, em seguida, fazer uma previsão com explicações sobre o modelo implantado enviando dados. Saiba mais sobre a Vertex Explainable AI. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Criar um job personalizado da Vertex para treinar um modelo
  • Treinar um modelo do TensorFlow
  • Recuperar e carregar os artefatos do modelo
  • Visualizar o modelo de avaliação
  • Definir parâmetros de explicação
  • Fazer upload do modelo Model como um recurso da Vertex AI.
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão com explicação
  • Desfazer a implantação do recurso modelo
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Previsão da Vertex AI
Explicação da classificação de imagens com a Vertex Explainable AI
Saiba como configurar explicações baseadas em atributos em um modelo de classificação de imagem pré-treinado e fazer previsões on-line e em lote com explicações. Saiba mais sobre a Vertex Explainable AI. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Fazer o download de um modelo pré-treinado do TensorFlow Hub
  • Fazer upload do modelo para implantação
  • Implantar o modelo para previsão on-line
  • Fazer uma previsão on-line com explicações
  • Fazer previsões em lote com explicações
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Explicação da classificação de texto com a Vertex Explainable AI.
Saiba como configurar explicações baseadas em atributos usando o **método Shapley de amostra** em um modelo de classificação de texto do TensorFlow para previsões on-line com explicações. Saiba mais sobre a Vertex Explainable AI.

Etapas do tutorial

  • Criar e treinar um modelo de classificação de texto do TensorFlow
  • Fazer upload do modelo para implantação
  • Implantar o modelo para previsão on-line
  • Fazer uma previsão on-line com explicações
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
SDK de importação de streaming.
Saiba como importar atributos de um DataFrame do Pandas para o Feature Store da Vertex AI usando o método write_feature_values do SDK da Vertex AI. Saiba mais sobre o Feature Store da Vertex AI.

Etapas do tutorial

  • Criar um featurestore.
  • Criar um novo tipo de entidade para seu featurestore.
  • Importar valores de atributos do DataFrame do Pandas para o tipo de entidade no featurestore.
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Disponibilização de atributos on-line e busca de dados do BigQuery com o Vertex AI Feature Store
Saiba como criar e usar uma instância de Feature Store on-line para hospedar e exibir dados no BigQuery com o Feature Store da Vertex AI em um fluxo de trabalho completo de valores de atributos que atendem e buscam a jornada do usuário. Saiba mais sobre o Feature Store da Vertex AI.

Etapas do tutorial

  • Provisionar uma instância de Feature Store on-line para hospedar e exibir dados.
  • Registrar uma visualização do BigQuery com a instância do Feature Store on-line e configurar o job de sincronização.
  • Usar o servidor on-line para buscar valores de atributos para previsão on-line.
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Exibição de atributos on-line e busca de dados do BigQuery com a exibição otimizada da Vertex AI Feature Store.
Saiba como criar e usar uma instância de Feature Store on-line para hospedar e exibir dados no BigQuery com o Feature Store da Vertex AI em um fluxo de trabalho completo de exibição e busca de valores de atributos. Saiba mais sobre o Feature Store da Vertex AI.

Etapas do tutorial

  • Provisione uma instância do Feature Store on-line para hospedar e veicular os dados usando a exibição on-line otimizada com o endpoint público ou privado.
  • Registrar uma visualização do BigQuery com a instância do Feature Store on-line e configurar o job de sincronização.
  • Usar o servidor on-line para buscar valores de atributos para previsão on-line.
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Veiculação de atributos on-line e recuperação de vetores do BigQuery com o Vertex AI Feature Store.
Saiba como criar e usar uma instância de Feature Store on-line para hospedar e exibir dados no BigQuery com o Feature Store da Vertex AI em um fluxo de trabalho completo de disponibilização de atributos e jornada do usuário de recuperação de vetores. Saiba mais sobre o Feature Store da Vertex AI.

Etapas do tutorial

  • Provisionar uma instância de Feature Store on-line para hospedar e exibir dados.
  • Criar uma instância de Feature Store on-line para disponibilizar uma tabela do BigQuery.
  • Usar o servidor on-line para pesquisar vizinhos mais próximos.
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Como usar o Feature Store da Vertex AI com o DataFrame do Pandas
Saiba como usar o Feature Store da Vertex AI com o Dataframe do pandas. Saiba mais sobre o Feature Store da Vertex AI.

Etapas do tutorial

  • Criar Featurestore, EntityType e recursos de atributos.
  • Importar valores de atributos do DataFrame do Pandas para o tipo de entidade.
  • Ler os valores de atributos de entidade do Online Feature Store no Pandas DataFrame.
  • Exibir em lote valores de atributo do Feature Store para o DataFrame do Pandas.
  • Exibição on-line com valores de recurso atualizados.
  • Correção pontual para buscar valores de atributos para treinamento.
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Previsões on-line e em lote usando o Feature Store da Vertex AI (legado)
Saiba como usar o Feature Store da Vertex AI para importar dados de atributos e acessá-los para tarefas de disponibilização on-line e off-line, como treinamento. Saiba mais sobre o Feature Store da Vertex AI.

Etapas do tutorial

  • Criar Featurestore, EntityType e recursos de atributos.
  • Importar dados de atributos para o recurso Featurestore.
  • Exibir solicitações de previsão on-line usando os atributos importados
  • Acessar atributos importados em jobs off-line, como os de treinamento
  • Usar a importação de streaming para importar uma pequena quantidade de dados.
Colab
GitHub
Vertex AI Workbench
Visão geral do suporte de IA generativa na Vertex AI
Avaliação do LLM da Vertex AI e inferência em lote.
Aprenda a usar a Vertex AI para avaliar um modelo de linguagem grande. Saiba mais sobre a Visão geral do suporte da IA generativa na Vertex AI.

Etapas do tutorial

  • Criar um job do Vertex AI Pipelines usando um modelo predefinido para inferência em massa.
  • Executar o pipeline usando o "Vertex AI Pipelines".
  • Produza resultados de previsão em um modelo para um determinado conjunto de dados.
GitHub
Vertex AI Workbench
Ajustar modelos de texto usando o ajuste de RLHF
Aprendizado por reforço do LLM da Vertex AI com feedback humano.
Neste tutorial, você vai usar o RLHF da Vertex AI para ajustar e implantar um modelo de linguagem grande. Saiba mais sobre Ajustar modelos de texto usando o ajuste RLHF.

Etapas do tutorial

  • Definir o número de etapas de ajuste do modelo.
  • Criar um job do Vertex AI Pipelines usando um modelo predefinido para ajustes
  • Executar o pipeline usando o "Vertex AI Pipelines".
  • Realizar previsão on-line com o modelo ajustado.
Colab
GitHub
Vertex AI Workbench
Incorporação de texto
Pesquisa semântica usando embeddings.
Neste tutorial, demonstramos como criar um embedding gerado com base em texto e realizar uma pesquisa semântica. Saiba mais sobre o embedding de texto.

Etapas do tutorial

  • Instalação e importações
  • Criar conjunto de dados de embedding
  • Criar um índice
  • consultar o índice
Colab
GitHub
Vertex AI Workbench
API de embedding de texto
Nova API Text Embedding.
Aprenda a chamar as APIs mais recentes de incorporação de texto em dois novos modelos: textembedding-gecko@002 e textembedding-gecko-multilingual@001: Saiba mais sobre API de embedding de texto.

Etapas do tutorial

  • Instalação e importações
  • Gerar embeddings
Colab
GitHub
Vertex AI Workbench
Ajustar modelos de texto usando ajuste supervisionado
Como ajustar um modelo PEFT com a Vertex AI.
Saiba como usar o LLM da Vertex AI para ajustar e implantar um modelo de linguagem grande PEFT. Saiba mais sobre Ajustar modelos de texto usando o ajuste supervisionado.

Etapas do tutorial

  • Acessar o modelo LLM da Vertex AI.
  • Ajustar o modelo.
  • Isso cria automaticamente um endpoint da Vertex AI e implanta o modelo nele.
  • Fazer uma previsão usando o LLM da Vertex AI.
  • Fazer uma previsão usando o Vertex AI Prediction
Colab
GitHub
Vertex AI Workbench
API PaLM
Como usar o SDK da Vertex AI com modelos de linguagem grandes.
Saiba como fornecer entrada de texto para modelos de linguagem grandes disponíveis na Vertex AI para testar, ajustar e implantar modelos de linguagem de IA generativa. Saiba mais sobre a API PaLM.

Etapas do tutorial

  • Use os endpoints de previsão da API Vertex AI PaLM para receber respostas da IA generativa a uma mensagem.
  • Use o endpoint de incorporação de texto para receber uma representação vetorial de uma mensagem.
  • Fazer o ajuste de prompts de um LLM com base em dados de treinamento de entrada/saída.
Colab
GitHub
Vertex AI Workbench
Vector Search
Usar embeddings multimodais da Vertex AI e o Vector Search.
Saiba como codificar embeddings de texto personalizados, criar um índice do vizinho mais próximo aproximado e consultar índices.

Etapas do tutorial

  • Converter um conjunto de dados de imagens em embeddings
  • Criar um índice
  • Fazer upload de embeddings no índice
  • Criar um endpoint de índice
  • Implantar o índice no endpoint do índice
  • Fazer uma consulta on-line
Colab
GitHub
Vertex AI Workbench
Vector Search
Usar o Vector Search para perguntas do StackOverflow.
Saiba como codificar embeddings de texto personalizados, criar um índice do vizinho mais próximo aproximado e consultar índices. Saiba mais sobre o Vector Search.

Etapas do tutorial

  • Criar índice de ANN
  • Criar um endpoint do índice com rede VPC
  • Implantar índice ANN
  • Executar consulta on-line
Colab
GitHub
Vertex AI Workbench
Vector Search
Embeddings da Vertex AI para texto
Usar o Vector Search e embeddings da Vertex AI para texto em perguntas do StackOverflow.
Saiba como codificar incorporações de texto, criar um índice do vizinho mais próximo aproximado e consultar índices. Saiba mais sobre o Vector Search. Saiba mais sobre Incorporações da Vertex AI para texto.

Etapas do tutorial

  • Converter um conjunto de dados do BigQuery em embeddings
  • Criar um índice
  • Fazer upload de embeddings no índice
  • Criar um endpoint de índice
  • Implantar o índice no endpoint do índice
  • Fazer uma consulta on-line
Colab
GitHub
Vertex AI Workbench
Vector Search
Criar um índice de pesquisa de vetor.
Saiba como criar o índice Vizinho mais próximo, consulte os índices e valide o desempenho dele. Saiba mais sobre o Vector Search.

Etapas do tutorial

  • Criar índice ANN e índice de força bruta
  • Criar um IndexEndpoint com rede VPC
  • Implantar o índice de ANN e o índice de força bruta
  • Executar consulta on-line
  • Recall do Compute
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Classificação para dados de imagem
Classificação da imagem do AutoML
Saiba como usar o AutoML para treinar um modelo de imagem e como usar a previsão e previsões em lote da Vertex AI e do lote. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a classificação de dados de imagem.

Etapas do tutorial

  • Treinar um modelo de classificação de imagens do AutoML.
  • Fazer uma previsão em lote.
  • Implantar o modelo em um endpoint
  • Fazer uma previsão on-line
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Detecção de objetos para dados de imagem
Detecção de objetos do AutoML Image.
Saiba como usar o AutoML para treinar um modelo de imagem e como usar a previsão e previsões em lote da Vertex AI e do lote. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a detecção de objetos para dados de imagem.

Etapas do tutorial

  • Treinar um modelo de detecção de objetos do AutoML.
  • Fazer uma previsão em lote.
  • Implantar o modelo em um endpoint
  • Fazer uma previsão on-line
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Rastreamento de objetos para dados de vídeo
Rastreamento de objetos de vídeo de AutoML.
Saiba como usar o AutoML para treinar um modelo de vídeo e usar a previsão em lote da Vertex AI para fazer previsões em lote. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre o rastreamento de objetos para dados de vídeo.

Etapas do tutorial

  • Treinar um modelo de rastreamento de objetos de vídeo do AutoML.
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Classificação para dados tabulares
Classificação binária do AutoML tabular.
Neste tutorial, você cria um modelo de classificação binária tabular do AutoML e implanta para previsão on-line de um script Python usando o SDK da Vertex AI. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a classificação de dados tabulares.

Etapas do tutorial

  • Criar um recurso "Vertex AI Dataset".
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Implantar o recurso modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão.
  • Remover a implantação do modelo
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Classificação para dados de texto
Classificação de texto do AutoML
O objetivo deste notebook é criar um modelo de classificação de texto do AutoML. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a classificação de dados de texto.

Etapas do tutorial

  • Defina o nome da tarefa e o prefixo do Cloud Storage
  • Copiar os dados de treinamento da demonstração de texto do AutoML para criar um conjunto de dados gerenciado
  • Criar um conjunto de dados na Vertex AI.
  • Configurar um job de treinamento
  • Lançar um job de treinamento e criar um modelo na Vertex AI
  • Copiar dados do AutoML Text Demo Prediction para criar um job de previsão em lote
  • Executar o job de previsão em lote no modelo
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Extração de entidades para dados de texto
Extração de entidades de texto do AutoML.
O objetivo deste notebook é criar um modelo de extração de entidade de texto do AutoML. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a extração de entidade para dados de texto.

Etapas do tutorial

  • Defina o nome da tarefa e o prefixo do Cloud Storage
  • Copiar os dados de treinamento da demonstração em vídeo do AutoML para criar um conjunto de dados gerenciado
  • Criar um conjunto de dados na Vertex AI.
  • Configurar um job de treinamento
  • Lançar um job de treinamento e criar um modelo na Vertex AI
  • Copiar dados de previsão de demonstração do AutoML para criar um job de previsão em lote
  • Executar o job de previsão em lote no modelo
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Análise de sentimento para dados de texto
Análise de sentimento de texto do AutoML.
O objetivo deste notebook é criar um modelo de análise de sentimento de texto do AutoML. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a análise de sentimento para dados de texto.

Etapas do tutorial

  • Copiar os dados de treinamento da demonstração em vídeo do AutoML para criar um conjunto de dados gerenciado
  • Criar um conjunto de dados na Vertex AI.
  • Configurar um job de treinamento
  • Lançar um job de treinamento e criar um modelo na Vertex AI
  • Copiar dados de previsão de demonstração do AutoML para criar um job de previsão em lote
  • Executar o job de previsão em lote no modelo
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Classificação para dados de vídeo
Classificação de vídeo de AutoML.
Saiba como usar o AutoML para treinar um modelo de vídeo e usar a previsão em lote da Vertex AI para fazer previsões em lote. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a classificação de dados de vídeo.

Etapas do tutorial

  • Treinar um modelo de classificação de vídeos do AutoML.
  • Fazer uma previsão em lote.
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Treinamento personalizado
Classificação de imagem personalizada com um contêiner de treinamento personalizado.
Saiba como treinar um modelo de classificação de imagens do TensorFlow usando um contêiner personalizado e treinamento na Vertex AI. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Empacotar o código de treinamento em um aplicativo Python.
  • Conteinerizar o aplicativo de treinamento usando o Cloud Build e o Artifact Registry.
  • Criar e executar um job de treinamento de contêiner personalizado na Vertex AI.
  • Avaliar o modelo gerado com base no job de treinamento.
  • Criar um recurso de modelo para o modelo treinado no Vertex AI Model Registry
  • Executar um job de previsão em lote da Vertex AI.
  • Implantar o recurso de modelo em um endpoint da Vertex AI.
  • Executar um job de previsão on-line no recurso do modelo
  • Limpar os recursos criados.
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Treinamento personalizado
Classificação de imagem personalizada com um contêiner de treinamento pré-criado.
Saiba como treinar um modelo de classificação de imagens do TensorFlow usando um contêiner pré-criado e o treinamento da Vertex AI. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Empacotar o código de treinamento em um aplicativo Python.
  • Conteinerizar o aplicativo de treinamento usando o Cloud Build e o Artifact Registry.
  • Criar e executar um job de treinamento de contêiner personalizado na Vertex AI.
  • Avaliar o modelo gerado com base no job de treinamento.
  • Criar um recurso de modelo para o modelo treinado no Vertex AI Model Registry
  • Executar um job de previsão em lote da Vertex AI.
  • Implantar o recurso de modelo em um endpoint da Vertex AI.
  • Executar um job de previsão on-line no recurso do modelo
  • Limpar os recursos criados.
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Treinamento personalizado
Modelo scikit-learn personalizado com contêiner de treinamento pré-criado.
Saiba como usar o treinamento da Vertex AI para criar um modelo treinado personalizado e como usar a previsão em lote da Vertex AI para fazer uma previsão em lote no modelo treinado. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do scikitlearn.
  • Faça upload dos artefatos do modelo treinado como um recurso "Modelo".
  • Fazer uma previsão em lote.
  • Implantar o modelo em um endpoint
  • Fazer uma previsão on-line
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Treinamento personalizado
Modelo XGBoost personalizado com contêiner de treinamento pré-criado.
Saiba como usar o treinamento da Vertex AI para criar um modelo treinado personalizado e como usar a previsão em lote da Vertex AI para fazer uma previsão em lote no modelo treinado. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do scikitlearn.
  • Faça upload dos artefatos do modelo treinado como um recurso "Modelo".
  • Fazer uma previsão em lote.
  • Implantar o modelo em um endpoint
  • Fazer uma previsão on-line
Colab
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Treinamento personalizado
Ajuste de hiperparâmetro.
Saiba como usar o hiperparâmetro da Vertex AI para criar e ajustar um modelo treinado personalizado. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Criar um job de ajuste de hiperparâmetros da Vertex AI para treinar um modelo do TensorFlow.
Colab
GitHub
Vertex AI Workbench
Documentação do Google Artifact Registry
Comece a usar o Google Artifact Registry.
Saiba como usar o Google Artifact Registry. Saiba mais sobre a documentação do Google Artifact Registry.

Etapas do tutorial

  • criar um repositório particular do Docker;
  • Incluir tags em uma imagem de contêiner específica para o repositório particular do Docker.
  • Enviar uma imagem de contêiner para o repositório particular do Docker.
  • Extrair uma imagem de contêiner do repositório particular do Docker.
  • Excluir um repositório particular do Docker.
Colab
GitHub
Vertex AI Workbench
Vertex ML Metadata
Treinamento personalizado
Vertex AI Experiments
Rastrear parâmetros e métricas para jobs de treinamento personalizados
Saiba como usar o SDK Vertex AI para Python para: Saiba mais sobre Metadados da Vertex ML. Saiba mais sobre o treinamento personalizado. Saiba mais sobre os experimentos da Vertex AI.

Etapas do tutorial

  • Rastreie parâmetros de treinamento e métricas de previsão para um job de treinamento personalizado.
  • Extrair e realizar análises para todos os parâmetros e métricas em um experimento.
Colab
GitHub
Vertex AI Workbench
Vertex ML Metadata
Rastrear parâmetros e métricas para modelos treinados localmente.
Saiba como usar o Vertex ML Metadata para acompanhar parâmetros de treinamento e métricas de avaliação. Saiba mais sobre o Vertex ML Metadata.

Etapas do tutorial

  • Rastreie parâmetros e métricas para um modelo treinado localmente.
  • Extrair e realizar análises para todos os parâmetros e métricas em um experimento.
Colab
GitHub
Vertex AI Workbench
Vertex ML Metadata
Pipelines da Vertex AI
Rastrear artefatos e métricas nas execuções de pipelines da Vertex AI usando metadados de ML da Vertex
Saiba como rastrear artefatos e métricas com os metadados de ML da Vertex nas execuções de pipeline da Vertex AI. Saiba mais sobre o Vertex ML Metadata. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Usar o SDK do Kubeflow Pipelines para criar um pipeline de ML que é executado na Vertex AI
  • O pipeline cria um conjunto de dados, treina um modelo do scikitlearn e o implanta em um endpoint
  • Gravar componentes de pipeline personalizados que geram artefatos e metadados
  • Comparar as execuções do Vertex AI Pipelines no Console do Cloud e de maneira programática
  • Rastrear a linhagem para artefatos gerados por pipeline
  • Consultar os metadados de execução do pipeline
Colab
GitHub
Vertex AI Workbench
Avaliação de modelos da Vertex AI
Classificação para dados tabulares
Como avaliar resultados de previsão em lote de um modelo de classificação tabular do AutoML Tabular.
Saiba como treinar um modelo de classificação tabular do AutoML da Vertex AI e como avaliar esse modelo usando um job de pipeline da Vertex AI usando google_cloud_pipeline_components: Saiba mais sobre a Vertex AI Avaliação de modelos. Saiba mais sobre a classificação de dados tabulares.

Etapas do tutorial

  • Criar um conjunto de dados da Vertex AI
  • Treinar um modelo de classificação tabular do Automl no recurso "Conjunto de dados".
  • Importar o recurso de modelo do AutoML treinado para o pipeline.
  • Executar um job de "Previsão em lote".
  • Avaliar o modelo do AutoML usando o componente de avaliação de classificação.
  • Importar as métricas de classificação para o recurso de modelo do AutoML.
Colab
GitHub
Vertex AI Workbench
Avaliação de modelos da Vertex AI
Regressão para dados tabulares
Como avaliar resultados de previsão em lote do modelo de regressão tabular do AutoML Tabular.
Saiba como avaliar um recurso de modelo da Vertex AI usando um job de pipeline usando a google_cloud_pipeline_components: Saiba mais sobre a Avaliação de modelos da Vertex AI. Saiba mais sobre regressão para dados tabulares.

Etapas do tutorial

  • Crie um conjunto de dados da Vertex AI.
  • Configurar um "AutoMLTabularTrainingJob".
  • Executar o "AutoMLTabularTrainingJob", que retorna um modelo.
  • Importar um "recurso de modelo do AutoML" pré-treinado para o pipeline.
  • Executar um job de previsão em lote no pipeline.
  • Avaliar o modelo do AutoML usando o "componente de avaliação de regressão".
  • Importar as métricas de regressão para o recurso de modelo do AutoML
Colab
GitHub
Vertex AI Workbench
Avaliação de modelos da Vertex AI
Classificação para dados de texto
AutoML pipelines de classificação de texto usando google-cloud-pipeline-components.
Saiba como usar os Vertex AI Pipelines e os componentes de pipeline do Google Cloud para criar e avaliar um modelo de classificação de texto do AutoML. Saiba mais sobre a avaliação de modelo da Vertex AI. Saiba mais sobre a classificação de dados de texto.

Etapas do tutorial

  • Criar um conjunto de dados da Vertex AI
  • Treinar um modelo de classificação textual do Automl no recurso "Conjunto de dados".
  • Importar o recurso de modelo do AutoML treinado para o pipeline.
  • Executar um job de "Previsão em lote".
  • Avaliar o modelo do AutoML usando o componente de avaliação de classificação.
  • Importar as métricas de avaliação para o recurso de modelo do AutoML.
Colab
GitHub
Vertex AI Workbench
Avaliação de modelos da Vertex AI
Classificação para dados de vídeo
Como avaliar resultados de previsão em lote do modelo de classificação de vídeo do AutoML.
Saiba como treinar um modelo de classificação de vídeos do AutoML na Vertex AI e como avaliar esse modelo usando um job de pipeline da Vertex AI usando google_cloud_pipeline_components: Saiba mais sobre a Vertex AI Avaliação de modelos. Saiba mais sobre a classificação de dados de vídeo.

Etapas do tutorial

  • Criar um conjunto de dados da Vertex AI
  • Treinar um modelo de classificação de vídeo do Automl no recurso "Conjunto de dados do Vertex AI".
  • Importar o recurso de modelo da AutoML Vertex AI treinado para o pipeline.
  • Executar um job de previsão em lote dentro do pipeline;
  • Avaliar o modelo do AutoML usando o componente de avaliação de classificação.
  • Importar as métricas de classificação para o recurso de modelo da AutoML Vertex AI.
Colab
GitHub
Vertex AI Workbench
Avaliação de modelos da Vertex AI
Treinamento da Vertex AI
Como avaliar os resultados de BatchPrediction em um modelo de classificação tabular personalizado.
Neste tutorial, você vai treinar um modelo RandomForest do scikit-learn, salvá-lo no Vertex AI Model Registry e aprender a avaliá-lo com um job de pipeline da Vertex AI usando google_cloud_pipeline_components. Saiba mais sobre a avaliação de modelo da Vertex AI. Saiba mais sobre o Vertex AI Training.

Etapas do tutorial

  • Busque o conjunto de dados na origem pública.
  • Pré-processar os dados localmente e salvar os dados de teste no BigQuery
  • Treinar localmente um modelo de classificação de RandomForest usando o pacote Python do scikitlearn
  • Crie um contêiner personalizado no Artifact Registry para previsões.
  • Fazer upload do modelo para o Vertex AI Model Registry
  • Criar e executar um pipeline da Vertex AI
Colab
GitHub
Vertex AI Workbench
Avaliação de modelos da Vertex AI
Treinamento personalizado
Como avaliar resultados de previsão em lote do modelo de regressão tabular personalizado.
Saiba como avaliar um recurso de modelo da Vertex AI usando um job de pipeline usando a google_cloud_pipeline_components: Saiba mais sobre a Avaliação de modelos da Vertex AI. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Criar um Vertex AI `CustomTrainingJob` para treinar um modelo.
  • Executar o "CustomTrainingJob".
  • Recuperar e carregar os artefatos do modelo
  • Visualizar o modelo de avaliação
  • Fazer upload do modelo Model como um recurso da Vertex AI.
  • Importar um recurso de modelo da Vertex AI pré-treinado para o pipeline.
  • Executar um job de previsão em lote no pipeline.
  • Avaliar o modelo usando o "componente de avaliação de regressão".
  • Importar as métricas de regressão para o recurso de modelo da Vertex AI
Colab
GitHub
Vertex AI Workbench
Avaliação de modelos na Vertex AI
Comece a importar uma avaliação de modelo personalizado para o Vertex AI Model Registry.
Saiba como criar e fazer upload de uma avaliação de modelo personalizada e faça o upload dela para uma entrada de recurso de modelo no Vertex AI Model Registry. Saiba mais sobre avaliação de modelos na Vertex AI.

Etapas do tutorial

  • Importar um modelo pré-treinado (abençoado) para o Vertex AI Model Registry
  • Criar uma avaliação de modelo personalizado
  • Importar as métricas de avaliação do modelo para o modelo correspondente no Vertex AI Model Registry.
  • Liste a avaliação do modelo correspondente no Vertex AI Model Registry.
  • Crie uma segunda avaliação do modelo personalizado.
  • Importar as métricas de avaliação do segundo modelo para o modelo correspondente no Vertex AI Model Registry.
  • Listar a segunda avaliação do modelo correspondente no Vertex AI Model Registry.
Colab
GitHub
Vertex AI Workbench
Monitoramento de modelos da Vertex AI para previsões em lote
Previsão em lote da Vertex AI com monitoramento de modelos.
Saiba como usar o serviço de monitoramento de modelos da Vertex AI para detectar deslocamentos e anomalias na previsão em lote. Saiba mais sobre o Monitoramento de modelos da Vertex AI para previsões em lote.

Etapas do tutorial

  • Fazer upload de um modelo pré-treinado como um recurso de modelo da Vertex AI.
  • Gere solicitações de previsão em lote.
  • Interpretar as estatísticas, visualizações e outros dados informados pelo recurso de monitoramento do modelo.
Colab
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Vertex AI Model Monitoring para modelos tabulares do AutoML.
Saiba como usar o serviço de monitoramento de modelos da Vertex AI para detectar desvios de recursos e deslocamentos nas solicitações de previsão de entrada, em modelos tabulares de AutoML. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • Treinar um modelo do AutoML.
  • Implantar o recurso "Modelo" no recurso "Endpoint".
  • Configurar o recurso "Endpoint" para monitoramento de modelos.
  • Gerar solicitações de previsão sintéticas para desvio.
  • Gere solicitações de previsão sintéticas para deslocamento.
  • Aguarde a notificação de alerta por e-mail.
Colab
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Vertex AI Model Monitoring para previsão em lote em modelos de imagem do AutoML.
Saiba como usar o monitoramento de modelos da Vertex AI com a previsão em lote da Vertex AI com um modelo de classificação de imagem do AutoML para detectar uma imagem fora de distribuição. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • 1. Treinar um modelo de classificação de imagens do AutoML.
  • 2. Envie uma previsão em lote contendo imagens de distribuição de entrada e saída.
  • 3. Use o monitoramento de modelos para calcular a pontuação de anomalia em cada imagem.
  • 4. Identifique as imagens na solicitação de previsão em lote que estão fora da distribuição.
Colab
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Monitoramento de modelos da Vertex AI para previsão on-line em modelos de imagem do AutoML.
Saiba como usar o monitoramento de modelos da Vertex AI com a previsão on-line da Vertex AI com um modelo de classificação de imagem do AutoML para detectar uma imagem fora de distribuição. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • 1. Treinar um modelo de classificação de imagens do AutoML.
  • 2. Crie um endpoint
  • 3. Implante o modelo no endpoint e configure para monitoramento de modelos.
  • 4. Envie uma previsão on-line contendo imagens de distribuição de entrada e saída.
  • 5. Use o monitoramento de modelos para calcular a pontuação de anomalia em cada imagem.
  • 6. Identifique as imagens na solicitação de previsão on-line que estão fora da distribuição.
Colab
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Monitoramento de modelos da Vertex AI para modelos tabulares personalizados.
Saiba como usar o serviço de monitoramento de modelos da Vertex AI para detectar desvios de recursos e deslocamentos nas solicitações de previsão de entrada, em modelos tabulares personalizados. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • Fazer o download de um modelo tabular personalizado e pré-treinado.
  • Fazer upload do modelo pré-treinado como um recurso "Modelo".
  • Implantar o recurso "Modelo" no recurso "Endpoint".
  • Configurar o recurso "Endpoint" para monitoramento de modelos.
  • Gerar solicitações de previsão sintéticas para desvio.
  • Aguarde a notificação de alerta por e-mail.
  • Gere solicitações de previsão sintéticas para deslocamento.
  • Aguarde a notificação de alerta por e-mail.
Colab
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Monitoramento de modelos da Vertex AI para modelos tabulares personalizados com o contêiner do TensorFlow Serving.
Saiba como usar o serviço de monitoramento de modelos da Vertex AI para detectar desvios de recursos e deslocamentos nas solicitações de previsão de entrada, em modelos tabulares personalizados, usando um contêiner de implantação personalizado. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • Fazer o download de um modelo tabular personalizado e pré-treinado.
  • Fazer upload do modelo pré-treinado como um recurso "Modelo".
  • Implantar o recurso "Modelo" em um recurso "Endpoint" com o binário de exibição "TensorFlow Serving".
  • Configurar o recurso "Endpoint" para monitoramento de modelos.
  • Gerar solicitações de previsão sintéticas para desvio.
  • Aguarde a notificação de alerta por e-mail.
  • Gere solicitações de previsão sintéticas para deslocamento.
  • Aguarde a notificação de alerta por e-mail.
Colab
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Vertex AI Model Monitoring para configuração de modelos tabulares.
Saiba como configurar o serviço de monitoramento de modelos da Vertex AI para detectar desvios de recursos e deslocamentos nas solicitações de previsão de entrada. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • Fazer o download de um modelo tabular personalizado e pré-treinado.
  • Fazer upload do modelo pré-treinado como um recurso "Modelo".
  • Implantar o recurso "Modelo" no recurso "Endpoint".
  • Configurar o recurso "Endpoint" para monitoramento de modelos.
  • Detecção de desvio e deslocamento de entradas de atributos.
  • Detecção de desvio e deslocamento de atribuições de recursos.
  • Geração automática do "esquema de entrada" enviando 1.000 solicitações de previsão.
  • Liste, pause, retome e exclua jobs de monitoramento.
  • Reiniciar o job de monitoramento com um "esquema de entrada" predefinido.
  • Ver dados monitorados registrados.
Colab
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Vertex AI Model Monitoring para modelos XGBoost
Saiba como usar o serviço de monitoramento de modelos da Vertex AI para detectar desvios de recursos e deslocamentos nas solicitações de previsão de entrada para modelos do XGBoost. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • Fazer o download de um modelo XGBoost pré-treinado.
  • Fazer upload do modelo pré-treinado como um recurso "Modelo".
  • Implantar o recurso "Modelo" no recurso "Endpoint".
  • Configurar o recurso "Endpoint" para monitoramento de modelos.
Colab
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Vertex AI Model Monitoring com atribuições de recursos de Explainable AI.
Saiba como usar o serviço de monitoramento de modelos da Vertex AI para detectar desvios e anomalias em solicitações de previsão de um recurso de modelo da Vertex AI. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • Fazer upload de um modelo pré-treinado como um recurso de modelo da Vertex AI.
  • Criar um recurso de "endpoint da Vertex AI".
  • Implantar o recurso "Modelo" no recurso "Endpoint".
  • Configurar o recurso "Endpoint" para monitoramento de modelos.
  • Inicializar a distribuição do valor de referência para monitoramento do modelo.
  • Gere solicitações de previsão sintéticas.
  • Entenda como interpretar as estatísticas, visualizações e outros dados informados pelo recurso de monitoramento de modelos.
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Registry
Introdução ao Registro de modelos da Vertex AI.
Saiba como usar o Vertex AI Model Registry para criar e registrar várias versões de um modelo. Saiba mais sobre o Vertex AI Model Registry.

Etapas do tutorial

  • Criar e registrar uma primeira versão de um modelo no Registro de modelos da Vertex AI.
  • Crie e registre uma segunda versão de um modelo no Registro de modelos da Vertex AI.
  • Atualizar a versão do modelo, que é o padrão (abençoado).
  • Como excluir uma versão de modelo.
  • Novo treinamento da próxima versão de modelo.
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes do AutoML
Classificação para dados tabulares
Pipelines do AutoML Tabular usando google-cloud-pipeline-components.
Saiba como usar o Vertex AI Pipelines e os componentes de pipelines do Google Cloud para criar um modelo de classificação tabular do AutoML. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes do AutoML. Saiba mais sobre a classificação de dados tabulares.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Avaliação do modelo na Vertex AI
Metodologia entre o desafio e a bênção para implantação de modelos na produção.
Saiba como criar um pipeline da Vertex AI, que treina uma nova versão desafiadora de um modelo, avalia o modelo e compara a avaliação com o modelo abençoado em produção para determinar se o modelo desafiante se torna o abençoado. modelo para substituição na produção. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre avaliação de modelos na Vertex AI.

Etapas do tutorial

  • Importar um modelo pré-treinado (abençoado) para o Vertex AI Model Registry
  • Importe métricas de avaliação de modelos sintéticos para o modelo (abençoado) correspondente.
  • Criar um recurso de "Vertex AI Endpoint".
  • Implantar o modelo abençoado no recurso "Endpoint".
  • Criar um pipeline da Vertex AI
  • Receba o modelo abençoado.
  • Importe outra instância (desafiador) do modelo pré-treinado.
  • Registre o modelo pré-treinado (desafiador) como uma nova versão do modelo abençoado existente.
  • Criar uma avaliação de modelo sintético.
  • Importe as métricas de avaliação do modelo sintético para o modelo de desafio correspondente.
  • Compare as avaliações e defina a bênção ou o desafio como padrão.
  • Implante o novo modelo abençoado.
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Estruturas de controle de pipeline usando o SDK do KFP.
Saiba como usar o SDK do KFP para criar pipelines que usam loops e condicionais, incluindo exemplos aninhados. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes de treinamento personalizados
Treinamento personalizado com componentes de pipeline predefinidos do Google Cloud
Saiba como usar o Vertex AI Pipelines e os componentes de pipelines do Google Cloud para criar um modelo personalizado. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes de treinamento personalizados.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes da previsão em lote da Vertex AI
Treinamento e previsão em lote com origem e destino do BigQuery para um modelo de classificação tabular personalizado.
Neste tutorial, você treina um modelo de classificação tabular do scikit-learn e cria um job de previsão em lote para ele por meio de um pipeline da Vertex AI usando google_cloud_pipeline_components. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes de previsão em lote da Vertex AI.

Etapas do tutorial

  • Criar um conjunto de dados no BigQuery
  • Definir alguns dados além do conjunto de origem para previsão em lote.
  • Criar um pacote Python personalizado para o aplicativo de treinamento
  • Fazer upload do pacote Python para o Cloud Storage
  • Criar um Vertex AI Pipelines que
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Ajuste de hiperparâmetros da Vertex AI
Primeiros passos com os componentes do pipeline de ajuste de hiperparâmetros da Vertex AI.
Saiba como usar os componentes de pipeline pré-criados do Google Cloud para o ajuste de hiperparâmetros da Vertex AI. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre o Ajuste de hiperparâmetros da Vertex AI.

Etapas do tutorial

  • Crie um pipeline para
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Primeiros passos no gerenciamento de máquinas para pipelines da Vertex AI.
Saiba como converter um componente de treinamento personalizado autossuficiente em um CustomJob da Vertex AI, em que:

Etapas do tutorial

  • Crie um componente personalizado com um job de treinamento autônomo.
  • Executar o pipeline usando configurações no nível do componente para recursos de máquina
  • Converter o componente de treinamento autônomo em um "JobJob da Vertex AI".
  • Executar o pipeline usando configurações personalizadas de nível de job para recursos de máquina
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes do AutoML
Pipelines de classificação de imagens do AutoML usando google-cloud-pipeline-components.
Saiba como usar os Vertex AI Pipelines e os componentes de pipelines do Google Cloud para criar um modelo de classificação de imagens do AutoML. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes do AutoML.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes do AutoML
Regressão para dados tabulares
Pipelines de regressão tabulares do AutoML usando google-cloud-pipeline-components.
Saiba como usar o Vertex AI Pipelines e os componentes de pipelines do Google Cloud para criar um modelo de regressão tabular do AutoML. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes do AutoML. Saiba mais sobre regressão para dados tabulares.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes do AutoML
AutoML pipelines de classificação de texto usando google-cloud-pipeline-components.
Saiba como usar o Vertex AI Pipelines e os componentes de pipelines do Google Cloud para criar um modelo de classificação de texto do AutoML. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes do AutoML.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes do BigQuery ML
Como treinar um modelo de aquisição-previsão usando o Swivel, o BigQuery ML e o Vertex AI Pipelines.
Saiba como criar um pipeline simples do BigQuery ML usando os pipelines da Vertex AI para calcular embeddings de texto de conteúdo de artigos e classificá-los na categoria *aquisições corporativas*. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes do BigQuery ML.

Etapas do tutorial

  • Como criar um componente para um job do Dataflow que ingere dados no BigQuery.
  • Criar um componente para etapas de pré-processamento a serem executadas nos dados no BigQuery
  • Criar um componente para treinar um modelo de regressão logística usando o BigQuery ML.
  • Criar e configurar um pipeline de DSL do Kubeflow com todos os componentes criados.
  • Como compilar e executar o pipeline no Vertex AI Pipelines
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes de treinamento personalizados
Treinar, fazer upload e implantar modelos com os componentes de pipelines do Google Cloud.
Saiba como usar os pipelines da Vertex AI e os componentes de pipelines do Google Cloud para criar e implantar um modelo personalizado. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes de treinamento personalizados.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes do modelo da Vertex AI
Faça o upload de modelos, preveja e avalie usando o google-cloud-pipeline-components.
Saiba como avaliar um modelo personalizado usando um pipeline com componentes do google_cloud_pipeline_components e um componente personalizado do pipeline que você cria. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes do Vertex AI Model.

Etapas do tutorial

  • Fazer upload de um modelo pré-treinado como um recurso "Modelo".
  • Executar um "BatchPredictionJob" no recurso "Model" com dados de informações empíricas.
  • Gerar artefato "Metrics" de avaliação sobre o recurso "Model".
  • Comparar as métricas de avaliação a um limite.
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Vertex AI Pipelines com KFP 2.x
Aprenda a usar os Vertex AI Pipelines e o KFP 2.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes leves e baseados em função do Python e E/S de componentes.
Saiba como usar o SDK do KFP para criar componentes leves do Python baseados em funções e, em seguida, aprender a usar os pipelines da Vertex AI para executar o pipeline. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Criar componentes KFP baseados em função do Python.
  • Criar um pipeline KFP
  • Transmita artefatos e parâmetros entre componentes, tanto por referência do caminho quanto por valor.
  • Usar o método "kfp.dsl.importer".
  • Compile o pipeline KFP.
  • Executar o pipeline KFP usando o "Vertex AI Pipelines".
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Visualização de métricas e execução de comparação usando o SDK do KFP.
Saiba como usar o SDK do KFP para criar pipelines que geram métricas de avaliação. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Criar componentes KFP
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Metodologia Multicontender x Champion para implantação de modelos na produção.
Saiba como criar um pipeline da Vertex AI, que avalia novos dados de produção de um modelo implantado em relação a outras versões do modelo, para determinar se um modelo de contendor se torna o modelo campeão para substituição na produção.

Etapas do tutorial

  • Importar um modelo pré-treinado (campeão) para o Vertex AI Model Registry.
  • Importe métricas de avaliação de treinamento de modelo sintético para o modelo correspondente (campeão).
  • Criar um recurso de "Vertex AI Endpoint".
  • Implantar o modelo campeão no recurso "Endpoint".
  • Importe versões adicionais (conterentes) do modelo implantado.
  • Importar métricas de avaliação de treinamento de modelos sintéticos para os modelos correspondentes (conferenciadores).
  • Criar um pipeline da Vertex AI
  • Receba o modelo do campeão.
  • (Falso) Modelo de ajuste fino com dados de produção
  • Importe métricas sintéticas de treinamento + produção para o modelo campeão.
  • Confira os modelos de contendores.
  • (Falso) Ajuste o modelo de contendor com dados de produção
  • Importe métricas sintéticas de treinamento+produção para o modesl dos contenders.
  • Compare as avaliações dos candidatos ao campeão e defina o novo campeão como padrão.
  • Implantar o novo modelo de campeão.
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Introdução aos pipelines para KFP.
Saiba como usar o SDK do KFP para criar pipelines que geram métricas de avaliação. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Definir e compilar um pipeline da Vertex AI.
  • Especifique a conta de serviço a ser usada para uma execução do pipeline.
Colab
GitHub
Vertex AI Workbench
Componentes do AutoML
Componentes do BigQuery ML
BigQuery ML e AutoML: como testar com a Vertex AI
Saiba como usar o Vertex AI Predictions para prototipagem rápida de um modelo. Saiba mais sobre os componentes do AutoML. Saiba mais sobre os componentes do BigQuery ML.

Etapas do tutorial

  • Criar um conjunto de dados de treinamento do BigQuery e da Vertex AI
  • Como treinar um modelo do BigQuery ML e do AutoML
  • Extração de métricas de avaliação dos modelos BigQueryML e AutoML.
  • Selecionar o modelo mais bem treinado.
  • Implantar o melhor modelo treinado.
  • Como testar a infraestrutura do modelo implantado.
Colab
GitHub
Vertex AI Workbench
Previsão em lote da Vertex AI
Previsão em lote de modelos personalizados com filtragem de atributos.
Saiba como criar um modelo treinado personalizado de um script Python em um contêiner do Docker usando o SDK Vertex AI para Python e executar um job de previsão em lote incluindo ou excluindo uma lista de atributos. Saiba mais sobre a Previsão em lote da Vertex AI.

Etapas do tutorial

  • Criar um TrainingPipeline personalizado do Vertex AI para treinar um modelo.
  • Treinar um modelo do TensorFlow
  • Enviar job de previsão em lote.
Colab
GitHub
Vertex AI Workbench
Previsão do Vertex AI
Comece a usar o servidor NVIDIA Triton.
Saiba como implantar um contêiner que executa o servidor Nvidia Triton com um recurso do modelo da Vertex AI em um endpoint da Vertex AI para fazer previsões on-line. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Faça o download dos artefatos de modelo no TensorFlow Hub.
  • Crie o arquivo de configuração de exibição do Triton para o modelo.
  • Construa um contêiner personalizado, com a imagem de exibição do Triton, para a implantação do modelo.
  • Fazer upload do modelo Model como um recurso da Vertex AI.
  • Implante o recurso "Vertex AI Model" em um recurso "Vertex AI Endpoint".
  • Fazer uma solicitação de previsão
  • Cancelar a implantação do recurso Modelo e excluir o endpoint
Colab
GitHub
Vertex AI Workbench
Raw Predict
Comece a usar as funções de exibição do TensorFlow com a Vertex AI Raw Prediction.
Saiba como usar a previsão bruta da Vertex AI em um recurso de endpoint da Vertex AI. Saiba mais sobre previsão bruta.

Etapas do tutorial

  • Fazer o download de artefatos do modelo de classificação tabular pré-treinados para um estimador do TensorFlow 1.x.
  • Fazer upload do modelo Estimator do TensorFlow como um recurso do Vertex AI Model.
  • Crie um recurso "Endpoint"
  • Implantar o recurso "Modelo" no recurso "Endpoint".
  • Faça uma previsão bruta on-line na instância de recurso do modelo implantada no recurso do endpoint.
Colab
GitHub
Vertex AI Workbench
Receber previsões de um modelo treinado personalizado
Comece a usar o TensorFlow Serving com a Vertex AI Prediction.
Saiba como usar a previsão da Vertex AI em um recurso de endpoint da Vertex AI com o binário de exibição do TensorFlow Serving. Saiba mais sobre Como receber previsões de um modelo treinado personalizado.

Etapas do tutorial

  • Faça o download de um modelo de classificação de imagens pré-treinado no TensorFlow Hub.
  • Crie uma função de disponibilização para receber dados de imagem compactados e gere dados pré-processados descompactados para a entrada do modelo.
  • Fazer upload do modelo do TensorFlow Hub e da função de disponibilização como um recurso do modelo da Vertex AI.
  • Criação de um recurso de endpoint.
  • Implantar o recurso "Modelo" em um recurso "Endpoint" com o binário de exibição "TensorFlow Serving".
  • Fazer uma previsão on-line na instância de recurso do modelo implantada no recurso do endpoint.
  • Fazer uma previsão em lote para a instância de recurso Model.
Colab
GitHub
Vertex AI Workbench
Endpoints particulares
Comece a usar endpoints particulares da Vertex AI.
Saiba como usar os recursos de endpoint particular da Vertex AI. Saiba mais sobre endpoints particulares.

Etapas do tutorial

  • Como criar um recurso de endpoint particular.
  • Configurar uma conexão de peering de VPC.
  • Configurar o binário de exibição de um recurso de modelo para implantação em um recurso de endpoint particular.
  • Como implantar um recurso de modelo em um recurso de endpoint particular.
  • Enviar uma solicitação de previsão a um endpoint particular.
Colab
GitHub
Vertex AI Workbench
Modelos de linguagem da Vertex AI
LLM da Vertex AI e previsão de streaming.
Saiba como usar o LLM da Vertex AI para fazer o download de um modelo LLM pré-treinado, fazer previsões e ajustar o modelo. Saiba mais sobre os modelos de linguagem da Vertex AI.

Etapas do tutorial

  • Carregar um modelo de geração de texto pré-treinado.
  • Fazer uma previsão sem streaming
  • Carregar um modelo de geração de texto pré-treinado, compatível com streaming.
  • Fazer uma previsão de streaming
  • Carregar um modelo de chat pré-treinado.
  • Fazer uma sessão de chat interativo local.
  • Fazer uma previsão em lote com um modelo de geração de texto.
  • Fazer uma previsão em lote com um modelo de embedding de texto.
Colab
GitHub
Vertex AI Workbench
Contêineres pré-criados para previsão
Como disponibilizar modelos de imagem do PyTorch com contêineres predefinidos na Vertex AI.
Saiba como empacotar e implantar um modelo de classificação de imagens do PyTorch usando um contêiner pré-criado da Vertex AI com o TorchServe para exibir previsões on-line e em lote. Saiba mais sobre contêineres pré-criados para previsão.

Etapas do tutorial

  • Fazer o download de um modelo de imagem pré-treinado do PyTorch
  • Criar um gerenciador de modelos personalizado
  • Empacotar artefatos de modelo em um arquivo de modelo
  • Fazer upload do modelo para implantação
  • Implantar modelo para previsão
  • Fazer previsões on-line
  • Fazer previsões em lote
Colab
GitHub
Vertex AI Workbench
Previsão do Vertex AI
Treine e implante modelos PyTorch com contêineres pré-criados na Vertex AI.
Saiba como criar, treinar e implantar um modelo de classificação de imagens do PyTorch usando contêineres pré-criados para treinamento e previsão personalizados.

Etapas do tutorial

  • Empacotar o aplicativo de treinamento em uma distribuição de origem do Python
  • Configurar e executar o job de treinamento em um contêiner pré-criado
  • Empacotar artefatos de modelo em um arquivo de modelo
  • Fazer upload do modelo para implantação
  • Implantar o modelo usando um contêiner pré-criado para previsão
  • Fazer previsões on-line
Colab
GitHub
Vertex AI Workbench
Vertex AI Training
Servidor de redução da Vertex AI
Treinamento distribuído do PyTorch com o servidor de redução da Vertex AI
Saiba como criar um job de treinamento distribuído do PyTorch que usa o framework e as ferramentas de treinamento distribuído do PyTorch, e executar o job de treinamento no serviço de treinamento da Vertex AI com o servidor de redução. Saiba mais sobre o Vertex AI Training. Saiba mais sobre o servidor de redução da Vertex AI.

Etapas do tutorial

  • Criar um aplicativo de treinamento distribuído do PyTorch
  • Empacotar o aplicativo de treinamento com contêineres pré-criados
  • Criar um job personalizado na Vertex AI com o servidor de redução
  • Enviar e monitorar o job
Colab
GitHub
Vertex AI Workbench
Classificação para dados de vídeo
Exemplo de classificação de vídeo do AutoML.
O objetivo deste notebook é criar um modelo de classificação de vídeos do AutoML. Saiba mais sobre a classificação de dados de vídeo.

Etapas do tutorial

  • Defina o nome da tarefa e o prefixo do Cloud Storage
  • Copiar os dados de treinamento da demonstração em vídeo do AutoML para criar um conjunto de dados gerenciado
  • Criar um conjunto de dados na Vertex AI.
  • Configurar um job de treinamento
  • Lançar um job de treinamento e criar um modelo na Vertex AI
  • Copiar dados de previsão de demonstração do AutoML para criar um job de previsão em lote
  • Executar o job de previsão em lote no modelo
Colab
GitHub
Vertex AI Workbench
Treinamento personalizado
Treinamento personalizado usando pacote do Python, conjunto de dados de texto gerenciado e contêiner veiculado TF.
Saiba como criar um modelo personalizado usando o treinamento de pacote personalizado do Python e aprenda a exibir o modelo usando o contêiner de exibição do TensorFlow para previsão on-line. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Criar funções utilitárias para fazer o download de dados e preparar arquivos csv para criar um conjunto de dados gerenciado da Vertex AI
  • Fazer o download dos dados
  • Preparar arquivos CSV para criar um conjunto de dados gerenciado
  • Criar pacote personalizado de treinamento do Python
  • Criar contêiner de exibição do TensorFlow
  • Executar treinamento personalizado de pacotes Python com um conjunto de dados gerenciado de texto
  • Implantar um modelo e criar um endpoint na Vertex AI
  • Previsão no endpoint
  • Criar um job de previsão em lote no modelo
Colab
GitHub
Vertex AI Workbench
Fluxo de trabalho tabular para TabNet
Explicações da Vertex AI com modelos da TabNet.
Saiba como fornecer uma ferramenta de plotagem de exemplo para visualizar a saída do TabNet, o que é útil para explicar o algoritmo. Saiba mais sobre o Fluxo de trabalho tabular para o TabNet.

Etapas do tutorial

  • Configure o projeto.
  • Fazer o download dos dados de previsão do modelo de pré-treino em dados de Syn2.
  • Visualize e entenda a importância do atributo com base na saída das máscaras.
  • Limpar os recursos criados por este tutorial.
Colab
GitHub
Vertex AI Workbench
Fluxo de trabalho tabular para TabNet
Primeiros passos com o algoritmo integrado do TabNet para treinar modelos tabulares.
Saiba como executar o algoritmo da TabNet da Vertex AI para treinar modelos tabulares personalizados. Saiba mais sobre o Fluxo de trabalho tabular para o TabNet.

Etapas do tutorial

  • Consiga os dados de treinamento.
  • Configure os parâmetros de treinamento do contêiner "Vertex AI TabNet".
  • Treine o modelo usando o "Vertex AI Training" usando dados CSV.
  • Fazer upload do modelo Model como um recurso da Vertex AI.
  • Implante o recurso "Vertex AI Model" em um recurso "Vertex AI Endpoint".
  • Fazer uma previsão com o modelo implantado.
  • Ajuste de hiperparâmetros para o modelo "Vertex AI TabNet".
Colab
GitHub
Vertex AI Workbench
Fluxo de trabalho tabular para TabNet
TabNet da Vertex AI
Saiba como executar o modelo TabNet na Vertex AI. Saiba mais sobre o Fluxo de trabalho tabular para o TabNet.

Etapas do tutorial

  • 1. Instalação
Colab
GitHub
Vertex AI Workbench
Componentes de pipelines do Google Cloud
Profeta para dados tabulares
Treinar um modelo profeta usando os fluxos de trabalho tabulares da Vertex AI
Saiba como criar vários modelos do Prophet usando um pipeline de Vertex AI de treinamento dos componentes de pipeline do Google Cloud e, em seguida, fazer uma previsão em lote usando o pipeline de previsão correspondente. Saiba mais sobre os componentes do pipeline do Google Cloud. Saiba mais sobre o profeta de dados tabulares.

Etapas do tutorial

  • 1. Treine os modelos profetas.
  • 1. Veja as métricas de avaliação.
  • 1. Fazer uma previsão em lote com os modelos do Profeta.
Colab
GitHub
Vertex AI Workbench
Fluxo de trabalho tabular para TabNet
Pipeline do TabNet.
Saiba como criar modelos de classificação em dados tabulares usando dois dos fluxos de trabalho tabulares da Vertex AI TabNet. Saiba mais sobre o Fluxo de trabalho tabular para o TabNet.

Etapas do tutorial

  • Crie um Custom Job TabNet. Essa é a melhor opção se você souber quais hiperparâmetros usar no treinamento.
  • Crie um HyperparameterTuningJob do TabNet. Isso permite que você tenha o melhor conjunto de hiperparâmetros para seu conjunto de dados.
Colab
GitHub
Vertex AI Workbench
Fluxo de trabalho tabular para amplo e profundo
Pipeline amplo e profundo.
Saiba como criar dois modelos de classificação usando fluxos de trabalho tabulares profundos e amplos da Vertex AI. Saiba mais sobre o fluxo de trabalho tabular para largura e profundidade.

Etapas do tutorial

  • Crie um CustomJob profundo e amplo. Essa é a melhor opção se você souber quais hiperparâmetros usar no treinamento.
  • Crie um HyperparameterTuningJob amplo e profundo. Isso permite que você tenha o melhor conjunto de hiperparâmetros para seu conjunto de dados.
Colab
GitHub
Vertex AI Workbench
TensorBoard da Vertex AI
Treinamento personalizado
Treinamento personalizado do Vertex AI TensorBoard com contêineres pré-criados
Saiba como criar um job de treinamento personalizado usando contêineres personalizados e monitore o processo de treinamento no TensorBoard da Vertex AI quase em tempo real. Saiba mais sobre o Vertex AI TensorBoard. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Criar repositório e configuração do docker.
  • Crie uma imagem de contêiner personalizada com seu código de treinamento personalizado.
  • Configurar a conta de serviço e os buckets do Google Cloud Storage.
  • Crie e inicie o job de treinamento personalizado com o contêiner personalizado.
Colab
GitHub
Vertex AI Workbench
TensorBoard da Vertex AI
Treinamento personalizado
Treinamento personalizado do Vertex AI TensorBoard com contêineres pré-criados
Saiba como criar um job de treinamento personalizado usando contêineres pré-criados e monitorar o processo de treinamento no TensorBoard da Vertex AI quase em tempo real. Saiba mais sobre o Vertex AI TensorBoard. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Configurar a conta de serviço e os buckets do Google Cloud Storage.
  • Escreva seu código de treinamento personalizado.
  • Empacotar e fazer upload do código de treinamento para o Google Cloud Storage
  • Crie e lance seu job de treinamento personalizado com o TensorBoard da Vertex AI ativado para monitoramento quase em tempo real.
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
Ajuste de hiperparâmetros do Vertex AI com o painel HParams
Neste tutorial, mostramos como registrar os resultados do experimento de hiperparâmetros no TensorFlow e como visualizá-los no painel de parâmetros de TensorBoard da Vertex AI. Saiba mais sobre o Vertex AI TensorBoard.

Etapas do tutorial

  • O TensorFlow é executado para registrar hiperparâmetros e métricas.
  • Inicie as execuções e registre todas elas em um diretório pai.
  • Visualize os resultados no painel HParams da Vertex AI TensorBoard.
Colab
GitHub
Vertex AI Workbench
Criador de perfil do TensorBoard da Vertex AI
Criar perfil de desempenho de treinamento de modelo usando o Vertex AI TensorBoard Profiler
Saiba como ativar o TensorBoard Profiler da Vertex AI para jobs de treinamento personalizados. Saiba mais sobre o Vertex AI TensorBoard Profiler.

Etapas do tutorial

  • Criar uma conta de serviço e um bucket do Cloud Storage
  • Criar uma instância do TensorBoard da Vertex AI
  • Criar e executar um job de treinamento personalizado que ativa o criador de perfil do TensorBoard da Vertex AI
  • Ver o painel do TensorBoard Profiler da Vertex AI para depurar o desempenho do treinamento de modelo
Colab
GitHub
Vertex AI Workbench
Criador de perfil do TensorBoard da Vertex AI
Criar perfil de desempenho de treinamento de modelo usando o Vertex AI TensorBoard Profiler no treinamento personalizado com contêiner pré-criado.
Saiba como ativar o TensorBoard Profiler da Vertex AI para jobs de treinamento personalizados com um contêiner pré-criado. Saiba mais sobre o Vertex AI TensorBoard Profiler.

Etapas do tutorial

  • Preparar seu código de treinamento personalizado e carregar o código de treinamento como um pacote Python em um contêiner pré-criado
  • Criar e executar um job de treinamento personalizado que ativa o criador de perfil do TensorBoard da Vertex AI
  • Ver o painel do TensorBoard Profiler da Vertex AI para depurar o desempenho do treinamento de modelo
Colab
GitHub
Vertex AI Workbench
TensorBoard da Vertex AI
Vertex AI Pipelines
Integração do TensorBoard da Vertex AI com pipelines da Vertex AI
Saiba como criar um pipeline de treinamento usando o SDK do KFP, executar o pipeline no Vertex AI Pipelines e monitorar seu processo de treinamento no TensorBoard da Vertex AI quase em tempo real. Saiba mais sobre o Vertex AI TensorBoard. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Configurar uma conta de serviço e buckets do Google Cloud Storage.
  • Criar um pipeline KFP com o código de treinamento personalizado
  • Compile e execute o pipeline KFP no Vertex AI Pipelines com o TensorBoard da Vertex AI ativado para monitoramento quase em tempo real.
Colab
GitHub
Vertex AI Workbench
Vertex AI: ajuste de hiperparâmetros
Ajuste de hiperparâmetros do Vertex AI distribuído.
Neste notebook, você cria um modelo treinado personalizado de um script Python em um contêiner do Docker. Saiba mais sobre o Ajuste de hiperparâmetros da Vertex AI.

Etapas do tutorial

  • Treinamento usando um pacote Python.
  • Gerar relatórios de precisão ao ajustar hiperparâmetros.
  • Salve os artefatos do modelo no Cloud Storage usando o Cloud StorageFuse.
Colab
GitHub
Vertex AI Workbench
Treinamento personalizado
Comece a usar o Vertex AI Training para LightGBM.
Saiba como usar o Vertex AI Training para treinar um modelo personalizado LightGBM. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Treinamento usando um pacote Python.
  • Salve os artefatos do modelo no Cloud Storage usando o Cloud StorageFuse.
  • Criar um servidor de previsão FastAPI.
  • Crie uma imagem de implantação do Dockerfile.
  • Testar a imagem de implantação localmente.
  • Crie um recurso "Modelo da Vertex AI".
Colab
GitHub
Vertex AI Workbench
Treinamento distribuído da Vertex AI
Primeiros passos com o treinamento distribuído da Vertex AI
Saiba como usar o treinamento distribuído da Vertex AI ao treinar com a Vertex AI. Saiba mais sobre o treinamento distribuído da Vertex AI.

Etapas do tutorial

  • MirroredStrategy
Colab
GitHub
Vertex AI Workbench
Vertex AI: ajuste de hiperparâmetros
Executar o ajuste de hiperparâmetros para um modelo do TensorFlow
Saiba como executar um job de ajuste de hiperparâmetros da Vertex AI para um modelo do TensorFlow. Saiba mais sobre o Ajuste de hiperparâmetros da Vertex AI.

Etapas do tutorial

  • Modificar o código do aplicativo de treinamento para ajuste do hiperparâmetro.
  • Faça a conteinerização do código do aplicativo de treinamento
  • Configurar e iniciar um job de ajuste de hiperparâmetros com o SDK da Vertex AI para Python
Colab
GitHub
Vertex AI Workbench
Vertex AI: ajuste de hiperparâmetros
Ajuste de hiperparâmetros do Vertex AI para XGBoost.
Saiba como usar o ajuste de hiperparâmetros da Vertex AI para treinar um modelo personalizado do XGBoost. Saiba mais sobre o Ajuste de hiperparâmetros da Vertex AI.

Etapas do tutorial

  • Treinamento usando um pacote Python.
  • Gerar relatórios de precisão ao ajustar hiperparâmetros.
  • Salve os artefatos do modelo no Cloud Storage usando o Cloud StorageFuse.
  • Crie um recurso "Modelo da Vertex AI".
Colab
GitHub
Vertex AI Workbench
Vertex AI Training
Treinamento de classificação paralela de dados de vários nós do PyTorch na CPU usando o treinamento da Vertex com contêiner personalizado.
Saiba como criar um job de treinamento distribuído do PyTorch usando o SDK da Vertex AI para Python e contêineres personalizados. Saiba mais sobre o Vertex AI Training.

Etapas do tutorial

  • Como configurar seu projeto do Google Cloud
Colab
GitHub
Vertex AI Workbench
Vertex AI Training
Treinamento de classificação paralela de dados de vários nós NCCL do PyTorch na CPU usando o treinamento da Vertex com contêiner personalizado.
Saiba como criar um job de treinamento distribuído do PyTorch usando o SDK da Vertex AI para Python e contêineres personalizados. Saiba mais sobre o Vertex AI Training.

Etapas do tutorial

  • Como criar um contêiner personalizado usando o Artifact Registry e o Docker
  • Criar uma instância do TensorBoard da Vertex AI para armazenar o experimento dela
  • Executar um CustomContainerTrainingJob do SDK da Vertex AI
Colab
GitHub
Vertex AI Workbench
Treinamento personalizado
Como treinar, ajustar e implantar um modelo de classificação de sentimento de texto do PyTorch na Vertex AI.
Saiba como criar, treinar, ajustar e implantar um modelo do PyTorch na Vertex AI. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Crie um pacote de treinamento para o modelo de classificação textual.
  • Treinar o modelo com treinamento personalizado na Vertex AI.
  • Verifique os artefatos do modelo criados.
  • Criar um contêiner personalizado para previsões.
  • Implantar o modelo treinado em um endpoint da Vertex AI usando o contêiner personalizado para previsões
  • Enviar solicitações de previsão on-line para o modelo implantado e validar.
  • Limpar os recursos criados neste notebook.
Colab
GitHub
Vertex AI Workbench
Integração do PyTorch na Vertex AI
Treine o modelo PyTorch na Vertex AI com dados do Cloud Storage.
Saiba como criar um job de treinamento usando o PyTorch e um conjunto de dados armazenado no Cloud Storage. Saiba mais sobre a integração do PyTorch na Vertex AI.

Etapas do tutorial

  • Escreva um script de treinamento personalizado que crie seus conjuntos de dados para treinar e testar e treine o modelo.
  • Executar um "CustomTrainingJob" do SDK da Vertex AI.
Colab
GitHub
Vertex AI Workbench
Treinamento distribuído
Como usar o torchrun do PyTorch para simplificar o treinamento de vários nós com contêineres personalizados.
Neste tutorial, você aprenderá a treinar um modelo do Imagenet usando a Torchrun do PyTorch em vários nós. Saiba mais sobre o treinamento distribuído.

Etapas do tutorial

  • Crie um script de shell para iniciar um cluster de ETCD no nó mestre
  • Criar um script de treinamento usando o código do repositório do GitHub do PyTorch Elastic
  • Criar contêineres que fazem o download dos dados e iniciar um cluster de ETCD no host
  • Treinar o modelo usando vários nós com GPUs
Colab
GitHub
Vertex AI Workbench
Treinamento personalizado
Treinamento distribuído do XGBoost com o Dask.
Saiba como criar um job de treinamento distribuído usando o XGBoost com o Dask. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Configurar as variáveis "PROJECT_ID" e "REGION" para seu projeto do Google Cloud
  • Crie um bucket do Cloud Storage para armazenar os artefatos do modelo.
  • Crie um contêiner personalizado do Docker que hospede seu código de treinamento e envie a imagem do contêiner para o Artifact Registry.
  • Executar um CustomContainerTrainingJob do SDK da Vertex AI
Colab
GitHub
Vertex AI Workbench
Vertex AI Vizier
Como otimizar vários objetivos com o Vertex AI Vizier
Saiba como usar o Vertex AI Vizier para otimizar um estudo com vários objetivos. Saiba mais sobre o Vertex AI Vizier.

Etapas do tutorial

Colab
GitHub
Vertex AI Workbench
Vertex AI Vizier
Primeiros passos com o Vertex AI Vizier.
Saiba como usar o Vertex AI Vizier para treinar com a Vertex AI. Saiba mais sobre o Vertex AI Vizier.

Etapas do tutorial

  • Ajuste de hiperparâmetros com algoritmo aleatório.
  • Ajuste de hiperparâmetros com o algoritmo Vizier (bayesiano).
  • Sugestão de testes e atualização de resultados para o estudo do Vizier
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex AI Training
Treinar um modelo de classificação multiclasse para segmentação de anúncios
Saiba como coletar dados do BigQuery, fazer o pré-processamento deles e treinar um modelo de classificação multiclasse em um conjunto de dados de e-commerce. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o Vertex AI Training.

Etapas do tutorial

  • Buscar os dados necessários do BigQuery
  • Pré-processar os dados
  • Treinar um modelo de classificação do TensorFlow (>=2,4)
  • Avaliar a perda do modelo treinado
  • Automatizar a execução do notebook usando o recurso de execução
  • Salvar o modelo em um caminho do Cloud Storage
  • Limpar os recursos criados
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex Explainable AI
Previsão de tarifa de táxi usando o conjunto de dados de corridas de táxi de Chicago.
O objetivo deste notebook é fornecer uma visão geral dos recursos mais recentes da Vertex AI, como **Explainable AI** e **BigQuery in Notebooks**, tentando resolver um problema de previsão de tarifa de táxi. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre a Vertex Explainable AI.

Etapas do tutorial

  • Carregar o conjunto de dados usando o BigQuery no Notebooks.
  • Fazer análises de dados exploratórias no conjunto de dados
  • Seleção de atributos e pré-processamento.
  • Criar um modelo de regressão linear usando o scikitlearn
  • Como configurar o modelo da Vertex Explainable AI.
  • Implantar o modelo na Vertex AI.
  • Testar o modelo implantado.
  • Fazer a limpeza.
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
Preveja a demanda de varejo com a Vertex AI e o BigQuery ML
Saiba como criar um modelo de ARIMA (média móvel automatizada integrada) do BigQuery ML em dados de varejo Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o BigQuery ML.

Etapas do tutorial

  • Explorar dados
  • Modelo com o BigQuery e o modelo ARIMA
  • Avalie o modelo
  • Avaliar os resultados do modelo usando o BigQuery ML (em dados de treinamento)
  • Avaliar os resultados do modelo MAE, MAPE, MSE, RMSE (em dados de teste)
  • Usar o recurso de execução
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
Análise exploratória interativa dos dados do BigQuery em um notebook.
Conheça várias maneiras de explorar e receber insights dos dados do BigQuery em um ambiente de notebook do Jupyter. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o BigQuery ML.

Etapas do tutorial

  • Como usar Python e SQL para consultar dados públicos no BigQuery
  • Como analisar o conjunto de dados usando o BigQuery INFORMATION_SCHEMA
  • Criar elementos interativos para ajudar a explorar partes interessantes dos dados
  • Faça uma análise exploratória de séries temporais e correlação.
  • Como criar saídas estáticas e interativas (tabelas de dados e gráficos) no notebook
  • Salvar algumas saídas no Cloud Storage
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Treinamento personalizado
Crie um modelo de detecção de fraudes na Vertex AI
Este tutorial demonstra a análise de dados e a criação de modelos usando um conjunto de dados financeiros sintéticos. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Instalação das bibliotecas necessárias
  • Como ler o conjunto de dados de um bucket do Cloud Storage
  • Como fazer análises exploratórias no conjunto de dados
  • Pré-processamento do conjunto de dados
  • Como treinar um modelo aleatório de floresta usando o scikitlearn
  • Salvar o modelo em um bucket do Cloud Storage
  • Como criar um recurso de modelo da Vertex AI e implantar em um endpoint
  • Como executar a Ferramenta WhatIf nos dados de teste
  • Como remover a implantação do modelo e limpar os recursos dele
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML.
Saiba como treinar e avaliar um modelo de propensão no BigQuery ML. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o BigQuery ML.

Etapas do tutorial

  • Explore uma exportação de dados do Google Analytics 4 no BigQuery.
  • Preparar os dados de treinamento usando informações demográficas, dados comportamentais e rótulos (desligamento de usuários/não desligamento de usuários).
  • Treinar um modelo XGBoost usando o BigQuery ML
  • Avaliar um modelo usando o BigQuery ML
  • Fazer previsões sobre o desligamento de usuários com o BigQuery ML
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Previsão de inventário de dados de e-commerce usando a Vertex AI
Este tutorial mostra como fazer análises exploratórias, pré-processar dados, treinar modelos, avaliar modelos e implantar modelos, configurar a Ferramenta What-If.

Etapas do tutorial

  • Carregar o conjunto de dados do BigQuery usando a integração "BigQuery no Notebooks".
  • Analisar o conjunto de dados
  • Pré-processar os atributos no conjunto de dados.
  • Criar um modelo aleatório de classificador de floresta que prevê se um produto será vendido nos próximos 60 dias.
  • Avaliar o modelo.
  • Implantar o modelo usando a Vertex AI.
  • Configure e teste com a Ferramenta WhatIf.
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex AI Training
Manutenção preditiva usando a Vertex AI.
Saiba como usar o recurso executor do Vertex AI Workbench para automatizar um fluxo de trabalho para treinar e implantar um modelo. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o Vertex AI Training.

Etapas do tutorial

  • Carregar o conjunto de dados necessário de um bucket do Cloud Storage.
  • Analisar os campos presentes no conjunto de dados.
  • Seleção dos dados necessários para o modelo de manutenção preditiva.
  • Como treinar um modelo de regressão XGBoost para prever a vida útil restante.
  • Avaliar o modelo
  • Executar o notebook como um job de treinamento usando o Executor.
  • Implantar o modelo na Vertex AI.
  • Fazer a limpeza.
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
Análise de otimização de preços nos dados de preços de CDM.
O objetivo deste notebook é criar um modelo de otimização de preços usando o BigQuery ML. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o BigQuery ML.

Etapas do tutorial

  • Carregar o conjunto de dados obrigatório de um bucket do Cloud Storage
  • Analise os campos presentes no conjunto de dados.
  • Processe os dados para criar um modelo.
  • Criar um modelo de previsão do BigQuery ML com base nos dados processados.
  • Receber valores previstos do modelo de ML do BigQuery.
  • Interpretar as previsões para identificar os melhores preços
  • Fazer a limpeza.
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Análise de sentimento para dados de texto
Análise de sentimento usando o AutoML Natural Language e a Vertex AI.
Saiba como treinar e implantar um modelo de análise de sentimento do AutoML e fazer previsões. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre a análise de sentimento para dados de texto.

Etapas do tutorial

  • Carregar os dados necessários
  • Como fazer o pré-processamento dos dados
  • Seleção dos dados necessários para o modelo.
  • Carregar o conjunto de dados nos conjuntos de dados gerenciados da Vertex AI;
  • Como treinar um modelo de sentimento usando o treinamento do AutoML Text.
  • Avaliar o modelo
  • Implantar o modelo na Vertex AI.
  • Como receber predições
  • Fazer a limpeza.
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Dataproc sem servidor para o Spark
Resumir e analisar dados do BigQuery com o Dataproc
Este tutorial do notebook executa um job do Apache Spark que busca dados no conjunto de dados "BigQuery Activity Data", consulta os dados e grava os resultados no BigQuery. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o Dataproc Serverless para Spark.

Etapas do tutorial

  • Configurar um projeto do Google Cloud e um cluster do Dataproc.
  • Como configurar o conector sparkbigqueryconnector.
  • Ingestão de dados do BigQuery em um DataFrame do Spark.
  • Pré-processamento de dados ingeridos.
  • Consulte a linguagem de programação mais usada em repositórios monoglot.
  • Consulte o tamanho médio (MB) de código em cada linguagem armazenada em repositórios monoglot.
  • Consulte os arquivos de idioma mais frequentemente encontrados em repositórios poliglotas.
  • Gravar os resultados da consulta de volta no BigQuery
  • Como excluir os recursos criados para este tutorial do notebook.
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Dataproc
SparkML com Dataproc e BigQuery
Neste tutorial, executa um job do Apache SparkML que busca dados no conjunto de dados do BigQuery, realiza análise exploratória de dados, limpa os dados, executa a engenharia de atributos, treina o modelo, avalia o modelo, gera resultados e salva o modelo para um bucket do Cloud Storage. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o Dataproc.

Etapas do tutorial

  • Configura um projeto do Google Cloud e um cluster do Dataproc.
  • Cria um bucket do Cloud Storage e um conjunto de dados do BigQuery.
  • Configura o conector sparkbigqueryconnector.
  • Ingestão de dados do BigQuery em um DataFrame do Spark.
  • Fazer uma análise exploratória de dados (EDA, na sigla em inglês).
  • Visualize os dados com amostras.
  • Limpa os dados.
  • Seleciona os recursos.
  • Treina o modelo.
  • Saída de resultados.
  • Salva o modelo em um bucket do Cloud Storage.
  • Exclui os recursos criados para o tutorial.
Colab
GitHub
Vertex AI Workbench