Analisar imagens com um modelo do Gemini

Neste tutorial, mostramos como criar um modelo remoto do BigQuery ML baseado no modelo gemini-2.5-flash e usar esse modelo com as funções ML.GENERATE_TEXT para analisar um conjunto de imagens de pôsteres de filmes.

Este tutorial abrange as seguintes tarefas:

• Criar uma tabela de objetos do BigQuery sobre dados de imagem em um bucket do Cloud Storage.
• Como criar um modelo remoto do BigQuery ML que segmente o modelo gemini-2.5-flash da Vertex AI.
• Uso do modelo remoto com a função ML.GENERATE_TEXT para identificar os filmes associados a um conjunto de pôsteres de filmes.

Os dados do pôster do filme estão disponíveis no bucket público gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters do Cloud Storage.

Funções exigidas

Para seguir este tutorial, você precisa dos seguintes papéis do Identity and Access Management (IAM):

• Criar e usar conjuntos de dados, conexões e modelos do BigQuery: administrador do BigQuery (roles/bigquery.admin).
• Conceda permissões à conta de serviço da conexão: administrador do IAM do projeto (roles/resourcemanager.projectIamAdmin).

Esses papéis predefinidos contêm as permissões necessárias para executar as tarefas neste documento. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Essas permissões também podem ser concedidas com papéis personalizados ou outros papéis predefinidos.

Custos

Neste documento, você vai usar os seguintes componentes faturáveis do Google Cloud:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI model that is represented by the BigQuery remote model.

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.

Para mais informações, consulte Preços do BigQuery na documentação do BigQuery.

Para mais informações sobre os preços da IA generativa da Vertex AI, consulte a página de preços da Vertex AI.

Antes de começar

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Enable the APIs

crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar seu modelo de ML.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Criar a tabela de objetos

Crie uma tabela de objetos sobre as imagens do pôster do filme no bucket público do Cloud Storage. Com a tabela de objetos, é possível analisar as imagens sem movê-las do Cloud Storage.

1. No console Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No editor de consultas, execute a seguinte consulta para criar a tabela de objetos:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.movie_posters`
     WITH CONNECTION DEFAULT
     OPTIONS (
       object_metadata = 'SIMPLE',
       uris =
         ['gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters/*']);

Criar o modelo remoto

Crie um modelo remoto que represente um modelo gemini-2.5-flash da Vertex AI:

1. No console Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No editor de consultas, execute a seguinte consulta para criar um modelo remoto:

   CREATE OR REPLACE MODEL `bqml_tutorial.gemini-vision`
     REMOTE WITH CONNECTION DEFAULT
     OPTIONS (ENDPOINT = 'gemini-2.5-flash');

   A consulta leva alguns segundos para ser concluída. Depois disso, o modelo gemini-vision aparece no conjunto de dados bqml_tutorial no painel Explorer. Como a consulta usa uma instrução CREATE MODEL para criar um modelo, não há resultados de consulta.

Analise os pôsteres de filmes

Use o modelo remoto para analisar os pôsteres de filmes e determinar qual filme cada posterior representa e, em seguida, gravar esses dados em uma tabela.

1. No console Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No editor de consultas, execute a seguinte consulta para analisar as imagens do pôster do filme:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.movie_posters_results` AS (
     SELECT
       uri,
       ml_generate_text_llm_result
     FROM
       ML.GENERATE_TEXT( MODEL `bqml_tutorial.gemini-vision`,
         TABLE `bqml_tutorial.movie_posters`,
         STRUCT( 0.2 AS temperature,
           'For the movie represented by this poster, what is the movie title and year of release? Answer in JSON format with two keys: title, year. title should be string, year should be integer.' AS PROMPT,
           TRUE AS FLATTEN_JSON_OUTPUT)));
       

3. No editor de consultas, execute a seguinte instrução para visualizar os dados da tabela:

   SELECT * FROM `bqml_tutorial.movie_posters_results`;

   O resultado será assim:

   +--------------------------------------------+----------------------------------+
   | uri                                        | ml_generate_text_llm_result      |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/little_annie_rooney.jpg            |  "title": "Little Annie Rooney", |
   |                                            |  "year": 1912                    |
   |                                            | }                                |
   |                                            |                              |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/mighty_like_a_mouse.jpg            |  "title": "Mighty Like a Moose", |
   |                                            |  "year": 1926                    |
   |                                            | }                                |
   |                                            |                              |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/brown_of_harvard.jpeg              |  "title": "Brown of Harvard",    |
   |                                            |  "year": 1926                    |
   |                                            | }                                |
   |                                            |                              |
   +--------------------------------------------+----------------------------------+
   

Formatar a saída do modelo

Formate os dados de análise do filme retornados pelo modelo para tornar o título e os dados do ano mais legíveis.

1. No console Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No editor de consultas, execute a seguinte consulta para formatar os dados:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.movie_posters_results_formatted` AS (
     SELECT
       uri,
       JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.title") AS title,
       JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.year") AS year
     FROM
       `bqml_tutorial.movie_posters_results` results );

3. No editor de consultas, execute a seguinte instrução para visualizar os dados da tabela:

   SELECT * FROM `bqml_tutorial.movie_posters_results_formatted`;

   O resultado será assim:

   +--------------------------------------------+----------------------------+------+
   | uri                                        | title                      | year |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "Barque sortant du port"   | 1895 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/barque_sortant_du_port.jpeg        |                            |      |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "The Great Train Robbery"  | 1903 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/the_great_train_robbery.jpg        |                            |      |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "Little Annie Rooney"      | 1912 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/little_annie_rooney.jpg            |                            |      |
   +--------------------------------------------+----------------------------+------+
   

Limpar

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.