Genera texto con un modelo de Gemini y la función ML.GENERATE_TEXT

En este instructivo, se muestra cómo crear un modelo remoto basado en el modelo gemini-2.0-flash y, luego, cómo usar ese modelo con la función ML.GENERATE_TEXT para extraer palabras clave y realizar análisis de opiniones en reseñas de películas de la tabla pública bigquery-public-data.imdb.reviews.

Roles requeridos

Para ejecutar este instructivo, necesitas los siguientes roles de Identity and Access Management (IAM):

• Crear y usar conjuntos de datos, conexiones y modelos de BigQuery: Administrador de BigQuery (roles/bigquery.admin)
• Otorga permisos a la cuenta de servicio de la conexión: Administrador de IAM del proyecto (roles/resourcemanager.projectIamAdmin).

Estos roles predefinidos contienen los permisos necesarios para realizar las tareas de este documento. Para ver los permisos exactos que son necesarios, expande la sección Permisos necesarios:

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios.

Para obtener más información sobre los precios de BigQuery, consulta Precios de BigQuery en la documentación de BigQuery.

Para obtener más información sobre los precios de Vertex AI, consulta la página Precios de Vertex AI.

Antes de comenzar

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

Crea un conjunto de datos

Crea un conjunto de datos de BigQuery para almacenar tu modelo de AA.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crear una conexión

Crea una conexión de recurso de Cloud y obtén la cuenta de servicio de la conexión. Crea la conexión en la misma ubicación que el conjunto de datos que creaste en el paso anterior.

Puedes omitir este paso si tienes configurada una conexión predeterminada o si tienes el rol de administrador de BigQuery.

Crea una conexión de recurso de Cloud para que la use el modelo remoto y obtén la cuenta de servicio de la conexión. Crea la conexión en la misma ubicación que el conjunto de datos que creaste en el paso anterior.

Selecciona una de las siguientes opciones:

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Otorga permisos a la cuenta de servicio de las conexiones

Otorga a la cuenta de servicio de la conexión el rol de usuario de Vertex AI. Debes otorgar este rol en el mismo proyecto que creaste o seleccionaste en la sección Antes de comenzar. Si otorgas el rol en un proyecto diferente, se produce el error bqcx-1234567890-xxxx@gcp-sa-bigquery-condel.iam.gserviceaccount.com does not have the permission to access resource.

Para otorgar el rol, sigue estos pasos:

1. Ir a la página IAM y administración

   Ir a IAM y administración

2. Haz clic en person_add Otorgar acceso.

3. En el campo Principales nuevas, escribe el ID de la cuenta de servicio que copiaste antes.

4. En el campo Selecciona un rol, elige Vertex AI y, luego, selecciona Rol del usuario de Vertex AI.

5. Haz clic en Guardar.

Crea el modelo remoto

Crea un modelo remoto que represente un modelo de Vertex AI alojado:

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente declaración:

CREATE OR REPLACE MODEL `bqml_tutorial.gemini_model`
  REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
  OPTIONS (ENDPOINT = 'gemini-2.0-flash');

Reemplaza lo siguiente:

• LOCATION: la ubicación de la conexión
• CONNECTION_ID por el ID de la conexión de BigQuery

  Cuando ves los detalles de conexión en la consola de Google Cloud , este es el valor en la última sección del ID de conexión completamente calificado que se muestra en ID de conexión, por ejemplo, projects/myproject/locations/connection_location/connections/myconnection.

La consulta tarda varios segundos en completarse, después de eso, el modelo gemini_model aparece en el conjunto de datos bqml_tutorial en el panel Explorador. Debido a que la consulta usa una declaración CREATE MODEL para crear un modelo, no hay resultados de consultas.

Realiza la extracción de palabras clave

Realiza la extracción de palabras clave en reseñas de películas de IMDB con el modelo remoto y la función ML.GENERATE_TEXT:

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el Editor de consultas, ingresa la siguiente declaración para realizar la extracción de palabras clave en cinco reseñas de películas:

   SELECT
     ml_generate_text_result['candidates'][0]['content'] AS generated_text,
     * EXCEPT (ml_generate_text_result)
   FROM
     ML.GENERATE_TEXT(
       MODEL `bqml_tutorial.gemini_model`,
       (
         SELECT
           CONCAT('Extract the key words from the text below: ', review) AS prompt,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 5
       ),
       STRUCT(
         0.2 AS temperature,
         100 AS max_output_tokens));

   El resultado es similar al siguiente, con las columnas no generadas omitidas para mayor claridad:

   +----------------------------------------+-------------------------+----------------------------+-----+
   | generated_text                         | ml_generate_text_status | prompt                     | ... |
   +----------------------------------------+-------------------------+----------------------------+-----+
   | {"parts":[{"text":"## Key words:\n\n*  |                         | Extract the key words from |     |
   | **Negative sentiment:** \"terribly     |                         | the text below: I had to   |     |
   | bad acting\", \"dumb story\", \"not    |                         | see this on the British    |     |
   | even a kid would enjoy this\",         |                         | Airways plane. It was      |     |
   | \"something to switch off\"\n*         |                         | terribly bad acting and    |     |
   | **Context:** \"British Airways plane\" |                         | a dumb story. Not even     |     |
   | \n* **Genre:** \"movie\" (implied)...  |                         | a kid would enjoy this...  |     |
   +----------------------------------------+-------------------------+----------------------------+-----+
   | {"parts":[{"text":"## Key words:\n\n*  |                         | Extract the key words from |     |
   | **Movie:** The Real Howard Spitz\n*    |                         | the text below: This is    |     |
   | **Genre:** Family movie\n*             |                         | a family movie that was    |     |
   | **Broadcast:** ITV station, 1.00 am\n* |                         | broadcast on my local      |     |
   | **Director:** Vadim Jean\n*            |                         | ITV station at 1.00 am a   |     |
   | **Main character:** Howard Spitz,      |                         | couple of nights ago.      |     |
   | a children's author who hates...       |                         | This might be a strange... |     |
   +----------------------------------------+-------------------------+----------------------------+-----+
   

   Los resultados incluyen las siguientes columnas:

   • generated_text: es el texto generado.
   • ml_generate_text_status: el estado de la respuesta de la API para la fila correspondiente. Si la operación se realizó correctamente, este valor estará vacío.
   • prompt: el mensaje que se usa para el análisis de opiniones.
   • Todas las columnas de la tabla bigquery-public-data.imdb.reviews.

3. Opcional: En lugar de analizar manualmente el JSON que muestra la función, como lo hiciste en el paso anterior, usa el argumento flatten_json_output para mostrar el texto generado y los atributos de seguridad en columnas separadas.

   En el editor de consultas, ejecuta la siguiente declaración:

   SELECT
     *
   FROM
     ML.GENERATE_TEXT(
       MODEL `bqml_tutorial.gemini_model`,
       (
         SELECT
           CONCAT('Extract the key words from the text below: ', review) AS prompt,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 5
       ),
       STRUCT(
         0.2 AS temperature,
         100 AS max_output_tokens,
         TRUE AS flatten_json_output));

   El resultado es similar al siguiente, con las columnas no generadas omitidas para mayor claridad:

   +----------------------------------------+----------------------------------------------+-------------------------+----------------------------+-----+
   | ml_generate_text_llm_result            | ml_generate_text_rai_result                  | ml_generate_text_status | prompt                     | ... |
   +----------------------------------------+----------------------------------------------+-------------------------+----------------------------+-----+
   | ## Keywords:                           |                                              |                         | Extract the key words from |     |
   |                                        |                                              |                         | the text below: I had to   |     |
   | * **Negative sentiment:**              |                                              |                         | see this on the British    |     |
   | "terribly bad acting", "dumb           |                                              |                         | Airways plane. It was      |     |
   | story", "not even a kid would          |                                              |                         | terribly bad acting and    |     |
   | enjoy this", "switch off"              |                                              |                         | a dumb story. Not even     |     |
   | * **Context:** "British                |                                              |                         | a kid would enjoy this...  |     |
   +----------------------------------------+----------------------------------------------+-------------------------+----------------------------+-----+
   | ## Key words:                          |                                              |                         | Extract the key words from |     |
   |                                        |                                              |                         | the text below: This is    |     |
   | * **Movie:** The Real Howard Spitz     |                                              |                         | a family movie that was    |     |
   | * **Genre:** Family movie              |                                              |                         | broadcast on my local      |     |
   | * **Broadcast:** ITV, 1.00             |                                              |                         | ITV station at 1.00 am a   |     |
   | am                                     |                                              |                         | couple of nights ago.      |     |
   | - ...                                  |                                              |                         | This might be a strange... |     |
   +----------------------------------------+----------------------------------------------+-------------------------+----------------------------+-----+
   

   Los resultados incluyen las siguientes columnas:

   • ml_generate_text_llm_result: es el texto generado.
   • ml_generate_text_rai_result: los atributos de seguridad, junto con información sobre si el contenido está bloqueado debido a una de las categorías de bloqueo. Para obtener más información sobre los atributos de seguridad, consulta Configura filtros de seguridad.
   • ml_generate_text_status: el estado de la respuesta de la API para la fila correspondiente. Si la operación se realizó correctamente, este valor estará vacío.
   • prompt: el mensaje que se usa para la extracción de palabras clave.
   • Todas las columnas de la tabla bigquery-public-data.imdb.reviews.

Realiza análisis de opiniones

Realiza análisis de opiniones en reseñas de películas de IMDB con el modelo remoto y la función ML.GENERATE_TEXT:

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el Editor de consultas, ejecuta la siguiente declaración para realizar un análisis de opiniones en cinco reseñas de películas:

   SELECT
     ml_generate_text_result['candidates'][0]['content'] AS generated_text,
     * EXCEPT (ml_generate_text_result)
   FROM
     ML.GENERATE_TEXT(
       MODEL `bqml_tutorial.gemini_model`,
       (
         SELECT
           CONCAT(
             'perform sentiment analysis on the following text, return one the following categories: positive, negative: ',
             review) AS prompt,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 5
       ),
       STRUCT(
         0.2 AS temperature,
         100 AS max_output_tokens));

   El resultado es similar al siguiente, con las columnas no generadas omitidas para mayor claridad:

   +--------------------------------------------+-------------------------+----------------------------+-----+
   | generated_text                             | ml_generate_text_status | prompt                     | ... |
   +--------------------------------------------+-------------------------+----------------------------+-----+
   | {"parts":[{"text":"## Sentiment Analysis:  |                         | perform sentiment analysis |     |
   | Negative \n\nThis text expresses a         |                         | on the following text,     |     |
   | strongly negative sentiment towards the    |                         | return one the following   |     |
   | movie. Here's why:\n\n* **Negative         |                         | negative: I  had to see    |     |
   | like \"terribly,\" \"dumb,\" and           |                         | this on the British        |     |
   | \"not even\" to describe the acting...     |                         | Airways plane. It was...   |     |
   +--------------------------------------------+-------------------------+----------------------------+-----+
   | {"parts":[{"text":"## Sentiment Analysis:  |                         | perform sentiment analysis |     |
   | Negative \n\nThis review expresses a       |                         | on the following text,     |     |
   | predominantly negative sentiment towards   |                         | return one the following   |     |
   | the movie \"The Real Howard Spitz.\"       |                         | categories: positive,      |     |
   | Here's why:\n\n* **Criticism of the film's |                         | negative: This is a family |     |
   | premise:** The reviewer finds it strange   |                         | movie that was broadcast   |     |
   | that a film about a children's author...   |                         | on my local ITV station... |     |
   +--------------------------------------------+-------------------------+----------------------------+-----+
   

   Los resultados incluyen las mismas columnas documentadas para Realizar la extracción de palabras clave.

Limpia

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.