Generar texto con un modelo de Gemini y la función ML.GENERATE_TEXT

En este tutorial se explica cómo crear un modelo remoto basado en el modelo gemini-2.0-flash y, a continuación, cómo usar ese modelo con la función ML.GENERATE_TEXT para extraer palabras clave y realizar un análisis de sentimiento de las reseñas de películas de la tabla pública bigquery-public-data.imdb.reviews.

Roles obligatorios

Para completar este tutorial, necesitas los siguientes roles de Gestión de Identidades y Accesos (IAM):

• Crear y usar conjuntos de datos, conexiones y modelos de BigQuery: Administrador de BigQuery (roles/bigquery.admin).
• Concede permisos a la cuenta de servicio de la conexión: administrador de gestión de identidades y accesos del proyecto (roles/resourcemanager.projectIamAdmin).

Estos roles predefinidos contienen los permisos necesarios para realizar las tareas descritas en este documento. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Costes

En este documento, se utilizan los siguientes componentes facturables de Google Cloud:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.

Para generar una estimación de costes basada en el uso previsto, utiliza la calculadora de precios.

Para obtener más información sobre los precios de BigQuery, consulta la página Precios de BigQuery en la documentación de BigQuery.

Para obtener más información sobre los precios de Vertex AI, consulta la página de precios de Vertex AI.

Antes de empezar

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

Crear conjunto de datos

Crea un conjunto de datos de BigQuery para almacenar tu modelo de aprendizaje automático.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crear una conexión

Crea una conexión de recursos de Cloud y obtén la cuenta de servicio de la conexión. Crea la conexión en la misma ubicación que el conjunto de datos que has creado en el paso anterior.

Puedes saltarte este paso si tienes una conexión predeterminada configurada o si tienes el rol Administrador de BigQuery.

Crea una conexión de recursos de Cloud para que la use el modelo remoto y obtén la cuenta de servicio de la conexión. Crea la conexión en la misma ubicación que el conjunto de datos que has creado en el paso anterior.

Selecciona una de las opciones siguientes:

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Conceder permisos a la cuenta de servicio de la conexión

Asigna el rol Usuario de Vertex AI a la cuenta de servicio de la conexión. Debes asignar este rol en el mismo proyecto que hayas creado o seleccionado en la sección Antes de empezar. Si se asigna el rol en otro proyecto, se produce el error bqcx-1234567890-xxxx@gcp-sa-bigquery-condel.iam.gserviceaccount.com does not have the permission to access resource.

Para conceder el rol, sigue estos pasos:

1. Ve a la página IAM y administración.

   Ir a IAM y administración

2. Haz clic en person_add Conceder acceso.

3. En el campo Nuevos principales, introduce el ID de la cuenta de servicio que has copiado anteriormente.

4. En el campo Selecciona un rol, elige Vertex AI y, a continuación, selecciona Rol de usuario de Vertex AI.

5. Haz clic en Guardar.

Crear el modelo remoto

Crea un modelo remoto que represente un modelo de Vertex AI alojado:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente instrucción:

CREATE OR REPLACE MODEL `bqml_tutorial.gemini_model`
  REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
  OPTIONS (ENDPOINT = 'gemini-2.0-flash');

Haz los cambios siguientes:

• LOCATION: la ubicación de la conexión
• CONNECTION_ID: el ID de tu conexión de BigQuery

  Cuando consultas los detalles de la conexión en la consola de Google Cloud , este es el valor de la última sección del ID de conexión completo que se muestra en ID de conexión, por ejemplo: projects/myproject/locations/connection_location/connections/myconnection

La consulta tarda varios segundos en completarse. Después, el modelo gemini_model aparece en el conjunto de datos bqml_tutorial del panel Explorador. Como la consulta usa una instrucción CREATE MODEL para crear un modelo, no hay resultados de la consulta.

Extraer palabras clave

Extrae palabras clave de las reseñas de películas de IMDb mediante el modelo remoto y la función ML.GENERATE_TEXT:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, introduce la siguiente instrucción para extraer palabras clave de cinco reseñas de películas:

   SELECT
     ml_generate_text_result['candidates'][0]['content'] AS generated_text,
     * EXCEPT (ml_generate_text_result)
   FROM
     ML.GENERATE_TEXT(
       MODEL `bqml_tutorial.gemini_model`,
       (
         SELECT
           CONCAT('Extract the key words from the text below: ', review) AS prompt,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 5
       ),
       STRUCT(
         0.2 AS temperature,
         100 AS max_output_tokens));

   El resultado es similar al siguiente, con las columnas no generadas omitidas para que se vea más claro:

   +----------------------------------------+-------------------------+----------------------------+-----+
   | generated_text                         | ml_generate_text_status | prompt                     | ... |
   +----------------------------------------+-------------------------+----------------------------+-----+
   | {"parts":[{"text":"## Key words:\n\n*  |                         | Extract the key words from |     |
   | **Negative sentiment:** \"terribly     |                         | the text below: I had to   |     |
   | bad acting\", \"dumb story\", \"not    |                         | see this on the British    |     |
   | even a kid would enjoy this\",         |                         | Airways plane. It was      |     |
   | \"something to switch off\"\n*         |                         | terribly bad acting and    |     |
   | **Context:** \"British Airways plane\" |                         | a dumb story. Not even     |     |
   | \n* **Genre:** \"movie\" (implied)...  |                         | a kid would enjoy this...  |     |
   +----------------------------------------+-------------------------+----------------------------+-----+
   | {"parts":[{"text":"## Key words:\n\n*  |                         | Extract the key words from |     |
   | **Movie:** The Real Howard Spitz\n*    |                         | the text below: This is    |     |
   | **Genre:** Family movie\n*             |                         | a family movie that was    |     |
   | **Broadcast:** ITV station, 1.00 am\n* |                         | broadcast on my local      |     |
   | **Director:** Vadim Jean\n*            |                         | ITV station at 1.00 am a   |     |
   | **Main character:** Howard Spitz,      |                         | couple of nights ago.      |     |
   | a children's author who hates...       |                         | This might be a strange... |     |
   +----------------------------------------+-------------------------+----------------------------+-----+
   

   Los resultados incluyen las siguientes columnas:

   • generated_text: el texto generado.
   • ml_generate_text_status: el estado de la respuesta de la API de la fila correspondiente. Si la operación se ha realizado correctamente, este valor estará vacío.
   • prompt: la petición que se usa para el análisis de sentimiento.
   • Todas las columnas de la tabla bigquery-public-data.imdb.reviews.

3. Opcional: En lugar de analizar manualmente el JSON devuelto por la función, como hiciste en el paso anterior, usa el argumento flatten_json_output para devolver el texto generado y los atributos de seguridad en columnas independientes.

   En el editor de consultas, ejecuta la siguiente instrucción:

   SELECT
     *
   FROM
     ML.GENERATE_TEXT(
       MODEL `bqml_tutorial.gemini_model`,
       (
         SELECT
           CONCAT('Extract the key words from the text below: ', review) AS prompt,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 5
       ),
       STRUCT(
         0.2 AS temperature,
         100 AS max_output_tokens,
         TRUE AS flatten_json_output));

   El resultado es similar al siguiente, con las columnas no generadas omitidas para que se vea más claro:

   +----------------------------------------+----------------------------------------------+-------------------------+----------------------------+-----+
   | ml_generate_text_llm_result            | ml_generate_text_rai_result                  | ml_generate_text_status | prompt                     | ... |
   +----------------------------------------+----------------------------------------------+-------------------------+----------------------------+-----+
   | ## Keywords:                           |                                              |                         | Extract the key words from |     |
   |                                        |                                              |                         | the text below: I had to   |     |
   | * **Negative sentiment:**              |                                              |                         | see this on the British    |     |
   | "terribly bad acting", "dumb           |                                              |                         | Airways plane. It was      |     |
   | story", "not even a kid would          |                                              |                         | terribly bad acting and    |     |
   | enjoy this", "switch off"              |                                              |                         | a dumb story. Not even     |     |
   | * **Context:** "British                |                                              |                         | a kid would enjoy this...  |     |
   +----------------------------------------+----------------------------------------------+-------------------------+----------------------------+-----+
   | ## Key words:                          |                                              |                         | Extract the key words from |     |
   |                                        |                                              |                         | the text below: This is    |     |
   | * **Movie:** The Real Howard Spitz     |                                              |                         | a family movie that was    |     |
   | * **Genre:** Family movie              |                                              |                         | broadcast on my local      |     |
   | * **Broadcast:** ITV, 1.00             |                                              |                         | ITV station at 1.00 am a   |     |
   | am                                     |                                              |                         | couple of nights ago.      |     |
   | - ...                                  |                                              |                         | This might be a strange... |     |
   +----------------------------------------+----------------------------------------------+-------------------------+----------------------------+-----+
   

   Los resultados incluyen las siguientes columnas:

   • ml_generate_text_llm_result: el texto generado.
   • ml_generate_text_rai_result: los atributos de seguridad, junto con información sobre si el contenido se ha bloqueado debido a una de las categorías de bloqueo. Para obtener más información sobre los atributos de seguridad, consulta Configurar filtros de seguridad.
   • ml_generate_text_status: el estado de la respuesta de la API de la fila correspondiente. Si la operación se ha realizado correctamente, este valor estará vacío.
   • prompt: la petición que se usa para la extracción de palabras clave.
   • Todas las columnas de la tabla bigquery-public-data.imdb.reviews.

Hacer análisis de sentimiento

Realiza un análisis de sentimiento de las reseñas de películas de IMDb usando el modelo remoto y la función ML.GENERATE_TEXT:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente instrucción para realizar un análisis de sentimiento de cinco reseñas de películas:

   SELECT
     ml_generate_text_result['candidates'][0]['content'] AS generated_text,
     * EXCEPT (ml_generate_text_result)
   FROM
     ML.GENERATE_TEXT(
       MODEL `bqml_tutorial.gemini_model`,
       (
         SELECT
           CONCAT(
             'perform sentiment analysis on the following text, return one the following categories: positive, negative: ',
             review) AS prompt,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 5
       ),
       STRUCT(
         0.2 AS temperature,
         100 AS max_output_tokens));

   El resultado es similar al siguiente, con las columnas no generadas omitidas para que se vea más claro:

   +--------------------------------------------+-------------------------+----------------------------+-----+
   | generated_text                             | ml_generate_text_status | prompt                     | ... |
   +--------------------------------------------+-------------------------+----------------------------+-----+
   | {"parts":[{"text":"## Sentiment Analysis:  |                         | perform sentiment analysis |     |
   | Negative \n\nThis text expresses a         |                         | on the following text,     |     |
   | strongly negative sentiment towards the    |                         | return one the following   |     |
   | movie. Here's why:\n\n* **Negative         |                         | negative: I  had to see    |     |
   | like \"terribly,\" \"dumb,\" and           |                         | this on the British        |     |
   | \"not even\" to describe the acting...     |                         | Airways plane. It was...   |     |
   +--------------------------------------------+-------------------------+----------------------------+-----+
   | {"parts":[{"text":"## Sentiment Analysis:  |                         | perform sentiment analysis |     |
   | Negative \n\nThis review expresses a       |                         | on the following text,     |     |
   | predominantly negative sentiment towards   |                         | return one the following   |     |
   | the movie \"The Real Howard Spitz.\"       |                         | categories: positive,      |     |
   | Here's why:\n\n* **Criticism of the film's |                         | negative: This is a family |     |
   | premise:** The reviewer finds it strange   |                         | movie that was broadcast   |     |
   | that a film about a children's author...   |                         | on my local ITV station... |     |
   +--------------------------------------------+-------------------------+----------------------------+-----+
   

   Los resultados incluyen las mismas columnas que se describen en el artículo sobre cómo extraer palabras clave.

Limpieza

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.