analizza le immagini con un modello Gemini

Questo tutorial mostra come creare un modello remoto BigQuery ML basato sul modello gemini-2.5-flash e come utilizzare questo modello con le funzioni ML.GENERATE_TEXT per analizzare un insieme di immagini di locandine di film.

Questo tutorial spiega le seguenti attività:

• Creazione di una tabella degli oggetti BigQuery sui dati delle immagini in un bucket Cloud Storage.
• Creazione di un modello remoto BigQuery ML che ha come target il modello Vertex AI gemini-2.5-flash.
• Utilizzo del modello remoto con la funzione ML.GENERATE_TEXT per identificare i film associati a un insieme di locandine.

I dati dei poster dei film sono disponibili nel bucket Cloud Storage pubblico gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters.

Ruoli obbligatori

Per eseguire questo tutorial, devi disporre dei seguenti ruoli IAM (Identity and Access Management):

• Crea e utilizza set di dati, connessioni e modelli BigQuery: Amministratore BigQuery (roles/bigquery.admin).
• Concedi le autorizzazioni all'account di servizio della connessione: Project IAM Admin (roles/resourcemanager.projectIamAdmin).

Questi ruoli predefiniti contengono le autorizzazioni necessarie per eseguire le attività descritte in questo documento. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI model that is represented by the BigQuery remote model.

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

Per ulteriori informazioni sui prezzi di BigQuery, consulta la sezione Prezzi di BigQuery nella documentazione di BigQuery.

Per ulteriori informazioni sui prezzi dell'AI generativa di Vertex AI, consulta la pagina Prezzi di Vertex AI.

Prima di iniziare

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Enable the APIs

Crea un set di dati

Crea un set di dati BigQuery per archiviare il tuo modello ML.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Creare la tabella degli oggetti

Crea una tabella degli oggetti sulle immagini dei poster dei film nel bucket Cloud Storage pubblico. La tabella degli oggetti consente di analizzare le immagini senza spostarle da Cloud Storage.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query per creare la tabella degli oggetti:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.movie_posters`
     WITH CONNECTION DEFAULT
     OPTIONS (
       object_metadata = 'SIMPLE',
       uris =
         ['gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters/*']);

Crea il modello remoto

Crea un modello remoto che rappresenti un modello gemini-2.5-flash di Vertex AI:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query per creare il modello remoto:

   CREATE OR REPLACE MODEL `bqml_tutorial.gemini-vision`
     REMOTE WITH CONNECTION DEFAULT
     OPTIONS (ENDPOINT = 'gemini-2.5-flash');

   Il completamento della query richiede diversi secondi, dopodiché il modello gemini-vision viene visualizzato nel set di dati bqml_tutorial nel riquadro Explorer. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, non ci sono risultati della query.

Analizzare i poster dei film

Utilizza il modello remoto per analizzare i poster dei film e determinare a quale film si riferisce ciascun poster, quindi scrivi questi dati in una tabella.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query per analizzare le immagini dei poster dei film:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.movie_posters_results` AS (
     SELECT
       uri,
       ml_generate_text_llm_result
     FROM
       ML.GENERATE_TEXT( MODEL `bqml_tutorial.gemini-vision`,
         TABLE `bqml_tutorial.movie_posters`,
         STRUCT( 0.2 AS temperature,
           'For the movie represented by this poster, what is the movie title and year of release? Answer in JSON format with two keys: title, year. title should be string, year should be integer.' AS PROMPT,
           TRUE AS FLATTEN_JSON_OUTPUT)));
       

3. Nell'editor di query, esegui la seguente istruzione per visualizzare i dati della tabella:

   SELECT * FROM `bqml_tutorial.movie_posters_results`;

   L'output è simile al seguente:

   +--------------------------------------------+----------------------------------+
   | uri                                        | ml_generate_text_llm_result      |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/little_annie_rooney.jpg            |  "title": "Little Annie Rooney", |
   |                                            |  "year": 1912                    |
   |                                            | }                                |
   |                                            |                              |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/mighty_like_a_mouse.jpg            |  "title": "Mighty Like a Moose", |
   |                                            |  "year": 1926                    |
   |                                            | }                                |
   |                                            |                              |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/brown_of_harvard.jpeg              |  "title": "Brown of Harvard",    |
   |                                            |  "year": 1926                    |
   |                                            | }                                |
   |                                            |                              |
   +--------------------------------------------+----------------------------------+
   

Formatta l'output del modello

Formatta i dati di analisi dei film restituiti dal modello per rendere più leggibili il titolo del film e i dati dell'anno.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query per formattare i dati:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.movie_posters_results_formatted` AS (
     SELECT
       uri,
       JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.title") AS title,
       JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.year") AS year
     FROM
       `bqml_tutorial.movie_posters_results` results );

3. Nell'editor di query, esegui la seguente istruzione per visualizzare i dati della tabella:

   SELECT * FROM `bqml_tutorial.movie_posters_results_formatted`;

   L'output è simile al seguente:

   +--------------------------------------------+----------------------------+------+
   | uri                                        | title                      | year |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "Barque sortant du port"   | 1895 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/barque_sortant_du_port.jpeg        |                            |      |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "The Great Train Robbery"  | 1903 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/the_great_train_robbery.jpg        |                            |      |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "Little Annie Rooney"      | 1912 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/little_annie_rooney.jpg            |                            |      |
   +--------------------------------------------+----------------------------+------+
   

Esegui la pulizia

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.