Générer du texte structuré à l'aide de la fonction AI.GENERATE_TABLE

Ce document vous explique comment générer du texte à l'aide d'un modèle Gemini Pro 1.5, Gemini Flash 1.5 ou Gemini Flash 2.0, puis mettre en forme la réponse du modèle à l'aide d'un schéma SQL.

Pour ce faire, procédez comme suit:

• Créer un modèle distant BigQuery ML représentant un modèle Vertex AI Gemini 1.5 ou 2.0 hébergé.
• Utiliser le modèle avec la fonction AI.GENERATE_TABLE pour générer du texte à partir des données de tables standards.

Autorisations requises

• Pour créer une connexion, vous devez disposer du rôle IAM (Identity and Access Management) suivant :

  • roles/bigquery.connectionAdmin

• Pour accorder des autorisations au compte de service de la connexion, vous devez disposer de l'autorisation suivante :

  • resourcemanager.projects.setIamPolicy

• Pour créer le modèle à l'aide de BigQuery ML, vous devez disposer des autorisations IAM suivantes :

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

• Pour exécuter une inférence, vous devez disposer des autorisations suivantes :

  • bigquery.tables.getData sur la table
  • bigquery.models.getData sur le modèle
  • bigquery.jobs.create

Avant de commencer

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Enable the APIs

Créer une connexion

Créez une connexion de ressource cloud et obtenez le compte de service de la connexion.

Sélectionnez l'une des options suivantes :

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Accorder l'accès au compte de service

Attribuez le rôle d'utilisateur Vertex AI au compte de service de la connexion.

Si vous envisagez de spécifier le point de terminaison en tant qu'URL lors de la création du modèle distant (par exemple, endpoint = 'https://us-central1-aiplatform.googleapis.com/v1/projects/myproject/locations/us-central1/publishers/google/models/gemini-1.5-flash'), accordez ce rôle dans le projet que vous spécifiez dans l'URL.

Si vous envisagez de spécifier le point de terminaison à l'aide du nom du modèle lors de la création du modèle distant (par exemple endpoint = 'gemini-1.5-flash'), accordez ce rôle dans le projet dans lequel vous prévoyez de créer le modèle distant.

L'attribution du rôle dans un autre projet génère l'erreur bqcx-1234567890-xxxx@gcp-sa-bigquery-condel.iam.gserviceaccount.com does not have the permission to access resource.

Pour accorder le rôle, procédez comme suit :

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None

Créer un modèle distant BigQuery ML

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. À l'aide de l'éditeur SQL, créez un modèle distant :

   CREATE OR REPLACE MODEL
   `PROJECT_ID.DATASET_ID.MODEL_NAME`
   REMOTE WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
   OPTIONS (ENDPOINT = 'ENDPOINT');

   Remplacez les éléments suivants :

   • PROJECT_ID : ID de votre projet.
   • DATASET_ID : ID de l'ensemble de données pour contenir le modèle. Cet ensemble de données doit se trouver dans le même emplacement que la connexion que vous utilisez.
   • MODEL_NAME : nom du modèle
   • REGION : région utilisée par la connexion.
   • CONNECTION_ID : ID de votre connexion BigQuery

     Lorsque vous affichez les détails de la connexion dans la console Google Cloud, il s'agit de la valeur de la dernière section de l'ID de connexion complet affiché dans ID de connexion (par exemple, projects/myproject/locations/connection_location/connections/myconnection).

   • ENDPOINT: nom du modèle Gemini à utiliser. Les modèles suivants sont compatibles :
     • gemini-2.0-flash-001
     • gemini-1.5-flash-001
     • gemini-1.5-flash-002
     • gemini-1.5-pro-001
     • gemini-1.5-pro-002
     Pour en savoir plus, consultez ENDPOINT.

Générer du texte structuré

Générez du texte à l'aide de la fonction AI.GENERATE_TABLE avec un modèle distant et à l'aide des données d'invite d'une colonne de table:

SELECT *
FROM AI.GENERATE_TABLE(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  [TABLE `PROJECT_ID.DATASET_ID.TABLE_NAME` / (PROMPT_QUERY)],
  STRUCT(TOKENS AS max_output_tokens, TEMPERATURE AS temperature,
  TOP_P AS top_p, STOP_SEQUENCES AS stop_sequences,
  GROUND_WITH_GOOGLE_SEARCH AS ground_with_google_search,
  SAFETY_SETTINGS AS safety_settings,
  OUTPUT_SCHEMA AS output_schema)
);

Remplacez l'élément suivant :

• PROJECT_ID : ID de votre projet.
• DATASET_ID : ID de l'ensemble de données contenant le modèle.
• MODEL_NAME : nom du modèle
• TABLE_NAME: nom de la table contenant la requête. Cette table doit avoir une colonne nommée prompt. Vous pouvez également utiliser un alias pour utiliser une colonne portant un nom différent.
• PROMPT_QUERY: requête GoogleSQL qui génère les données de requête. La valeur de l'invite elle-même peut être extraite d'une colonne, ou vous pouvez la spécifier en tant que valeur struct avec un nombre arbitraire de sous-champs de chaîne et de nom de colonne. Par exemple, SELECT ('Analyze the sentiment in ', feedback_column, 'using the following categories: positive, negative, neutral') AS prompt.
• TOKENS: valeur INT64 qui définit le nombre maximal de jetons pouvant être générés dans la réponse. Cette valeur doit être comprise dans la plage [1,8192]. Spécifiez une valeur inférieure pour obtenir des réponses plus courtes et une valeur supérieure pour des réponses plus longues. La valeur par défaut est 128.
• TEMPERATURE: valeur FLOAT64 comprise dans la plage [0.0,2.0] qui contrôle le degré d'aléatoire dans la sélection des jetons. La valeur par défaut est 1.0.

  Des valeurs inférieures pour temperature conviennent aux requêtes qui nécessitent une réponse plus déterministe et moins ouverte ou créative, tandis que des valeurs plus élevées pour temperature peuvent entraîner des résultats plus diversifiés ou créative. Une valeur 0 pour temperature est déterministe, ce qui signifie que la réponse dont la probabilité est la plus élevée est toujours sélectionnée.

• TOP_P: une valeur FLOAT64 comprise dans la plage [0.0,1.0] permet de déterminer la probabilité de sélection des jetons. Spécifiez une valeur inférieure pour obtenir des réponses moins aléatoires et une valeur supérieure pour des réponses plus aléatoires. La valeur par défaut est 0.95.
• STOP_SEQUENCES: valeur ARRAY<STRING> qui supprime les chaînes spécifiées si elles sont incluses dans les réponses du modèle. Les chaînes correspondent exactement, y compris la casse. La valeur par défaut est un tableau vide.
• GROUND_WITH_GOOGLE_SEARCH: valeur BOOL qui détermine si le modèle Vertex AI utilise l'ancrage avec la recherche Google lors de la génération de réponses. L'ancrage permet au modèle d'utiliser des informations supplémentaires provenant d'Internet lors de la génération d'une réponse, afin de rendre les réponses du modèle plus spécifiques et factuelles. La valeur par défaut est FALSE.
• SAFETY_SETTINGS: valeur ARRAY<STRUCT<STRING AS category, STRING AS threshold>> qui configure les seuils de sécurité du contenu pour filtrer les réponses. Le premier élément de la structure spécifie une catégorie de préjudice, et le deuxième élément de la structure spécifie un seuil de blocage correspondant. Le modèle filtre les contenus qui ne respectent pas ces paramètres. Vous ne pouvez spécifier chaque catégorie qu'une seule fois. Par exemple, vous ne pouvez pas spécifier à la fois STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_MEDIUM_AND_ABOVE' AS threshold) et STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_ONLY_HIGH' AS threshold). Si aucun paramètre de sécurité n'est défini pour une catégorie donnée, le paramètre de sécurité BLOCK_MEDIUM_AND_ABOVE est utilisé.

  Les catégories acceptées sont les suivantes:

  • HARM_CATEGORY_HATE_SPEECH
  • HARM_CATEGORY_DANGEROUS_CONTENT
  • HARM_CATEGORY_HARASSMENT
  • HARM_CATEGORY_SEXUALLY_EXPLICIT

  Les seuils acceptés sont les suivants :

  • BLOCK_NONE (Limité)
  • BLOCK_LOW_AND_ABOVE
  • BLOCK_MEDIUM_AND_ABOVE (par défaut)
  • BLOCK_ONLY_HIGH
  • HARM_BLOCK_THRESHOLD_UNSPECIFIED

  Pour en savoir plus, consultez les pages Catégories de préjudices et Configurer des filtres de contenu.

• OUTPUT_SCHEMA: valeur STRING spécifiant le format de la réponse du modèle. La valeur output_schema doit être une définition de schéma SQL, semblable à celle utilisée dans l'instruction CREATE TABLE. Les types de données suivants sont acceptés :
  • INT64
  • FLOAT64
  • BOOL
  • STRING
  • ARRAY
  • STRUCT

  Lorsque vous utilisez l'argument output_schema pour générer du texte en fonction des requêtes d'une table, il est important de comprendre les données de requête afin de spécifier un schéma approprié.

  Par exemple, imaginons que vous analysiez le contenu d'une critique de film à partir d'un tableau contenant les champs suivants:

  • movie_id
  • review
  • requête

  Vous pouvez ensuite créer un texte d'invite en exécutant une requête semblable à la suivante:

  UPDATE mydataset.movie_review
  SET prompt = CONCAT('Extract the key words and key sentiment from the text below: ', review)
  WHERE review IS NOT NULL;

  Vous pouvez également spécifier une valeur output_schema semblable à "keywords ARRAY<STRING>, sentiment STRING" AS output_schema.

Examples

L'exemple suivant montre une requête qui extrait les données d'invite d'une table et fournit un schéma SQL pour mettre en forme la réponse du modèle:

SELECT
*
FROM
AI.GENERATE_TABLE( MODEL `mydataset.gemini_model`,
  TABLE `mydataset.mytable`,
  STRUCT("keywords ARRAY<STRING>, sentiment STRING" AS output_schema));

L'exemple suivant montre une requête qui extrait les données d'invite d'une requête et fournit un schéma SQL pour mettre en forme la réponse du modèle:

SELECT *
FROM
  AI.GENERATE_TABLE(
    MODEL `mydataset.gemini_model`,
    (
      SELECT
        'John Smith is a 20-year old single man living at 1234 NW 45th St, Kirkland WA, 98033. He has two phone numbers 123-123-1234, and 234-234-2345. He is 200.5 pounds.'
          AS prompt
    ),
    STRUCT("address STRUCT<street_address STRING, city STRING, state STRING, zip_code STRING>, age INT64, is_married BOOL, name STRING, phone_number ARRAY<STRING>, weight_in_pounds FLOAT64"
        AS output_schema));