Régler un modèle à l'aide de vos données

Console

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à la page "BigQuery"

2. Dans le volet Explorateur, cliquez sur le nom de votre projet.

3. Cliquez sur more_vert Afficher les actions > Créer un ensemble de données.

4. Sur la page Créer un ensemble de données, procédez comme suit :

   • Pour ID de l'ensemble de données, saisissez un nom pour l'ensemble de données.

   • Dans Type d'emplacement, sélectionnez un emplacement pour l'ensemble de données.

   • Cliquez sur Créer un ensemble de données.

bq

1. Pour créer un ensemble de données, exécutez la commande bq mk en spécifiant l'option --location :

   bq --location=LOCATION mk -d DATASET_ID

   Remplacez les éléments suivants :

   • LOCATION : emplacement de l'ensemble de données.
   • DATASET_ID est l'ID de l'ensemble de données que vous créez.

2. Vérifiez que l'ensemble de données a été créé :

   bq ls

Console

1. Accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet Explorateur, cliquez sur add Ajouter des données :

   

   La boîte de dialogue Ajouter des données s'ouvre.

3. Dans le panneau Filtrer par, dans la section Type de source de données, sélectionnez Applications métier.

   Vous pouvez également saisir Vertex AI dans le champ Rechercher des sources de données.

4. Dans la section Sources de données recommandées, cliquez sur Vertex AI.

5. Cliquez sur la fiche solution Modèles Vertex AI : fédération BigQuery.

6. Dans la liste Type de connexion, sélectionnez Modèles distants Vertex AI, fonctions à distance et BigLake (Ressource cloud).

7. Dans le champ ID de connexion, saisissez un nom pour votre connexion.

8. Cliquez sur Créer une connexion.

9. Cliquez sur Accéder à la connexion.

10. Dans le volet Informations de connexion, copiez l'ID du compte de service à utiliser à l'étape suivante.

bq

1. Dans un environnement de ligne de commande, créez une connexion :

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID

   Le paramètre --project_id remplace le projet par défaut.

   Remplacez les éléments suivants :

   • REGION : votre région de connexion
   • PROJECT_ID : ID de votre projet Google Cloud
   • CONNECTION_ID : ID de votre connexion

   Lorsque vous créez une ressource de connexion, BigQuery crée un compte de service système unique et l'associe à la connexion.

   Dépannage : Si vous obtenez l'erreur de connexion suivante, mettez à jour le Google Cloud SDK :

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Récupérez et copiez l'ID du compte de service pour l'utiliser lors d'une prochaine étape :

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID

   Le résultat ressemble à ce qui suit :

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
   

Terraform

Utilisez la ressource google_bigquery_connection.

Pour vous authentifier auprès de BigQuery, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez la page Configurer l'authentification pour les bibliothèques clientes.

L'exemple suivant crée une connexion de ressources Cloud nommée my_cloud_resource_connection dans la région US :

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Pour appliquer votre configuration Terraform dans un projet Google Cloud , suivez les procédures des sections suivantes.

Préparer Cloud Shell

1. Lancez Cloud Shell.

2. Définissez le projet Google Cloud par défaut dans lequel vous souhaitez appliquer vos configurations Terraform.

   Vous n'avez besoin d'exécuter cette commande qu'une seule fois par projet et vous pouvez l'exécuter dans n'importe quel répertoire.

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   Les variables d'environnement sont remplacées si vous définissez des valeurs explicites dans le fichier de configuration Terraform.

Préparer le répertoire

Chaque fichier de configuration Terraform doit avoir son propre répertoire (également appelé module racine).

1. Dans Cloud Shell, créez un répertoire et un nouveau fichier dans ce répertoire. Le nom du fichier doit comporter l'extension .tf, par exemple main.tf. Dans ce tutoriel, le fichier est appelé main.tf.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. Si vous suivez un tutoriel, vous pouvez copier l'exemple de code dans chaque section ou étape.

   Copiez l'exemple de code dans le fichier main.tf que vous venez de créer.

   Vous pouvez également copier le code depuis GitHub. Cela est recommandé lorsque l'extrait Terraform fait partie d'une solution de bout en bout.

3. Examinez et modifiez les exemples de paramètres à appliquer à votre environnement.
4. Enregistrez les modifications.
5. Initialisez Terraform. Cette opération n'est à effectuer qu'une seule fois par répertoire.

   terraform init

   Vous pouvez également utiliser la dernière version du fournisseur Google en incluant l'option -upgrade :

   terraform init -upgrade

Appliquer les modifications

1. Examinez la configuration et vérifiez que les ressources que Terraform va créer ou mettre à jour correspondent à vos attentes :

   terraform plan

   Corrigez les modifications de la configuration si nécessaire.

2. Appliquez la configuration Terraform en exécutant la commande suivante et en saisissant yes lorsque vous y êtes invité :

   terraform apply

   Attendez que Terraform affiche le message "Apply completed!" (Application terminée).

3. Ouvrez votre projet Google Cloud pour afficher les résultats. Dans la console Google Cloud , accédez à vos ressources dans l'interface utilisateur pour vous assurer que Terraform les a créées ou mises à jour.

Console

1. Accédez à la page IAM et administration.

   Accéder à IAM et administration

2. Cliquez sur person_add Accorder l'accès.

3. Dans le champ Nouveaux comptes principaux, saisissez l'ID du compte de service que vous avez copié précédemment.

4. Cliquez sur Select a role (Sélectionner un rôle).

5. Dans le champ Filtre, saisissez Vertex AI Service Agent, puis sélectionnez ce rôle.

6. Cliquez sur Enregistrer.

gcloud

Exécutez la commande gcloud projects add-iam-policy-binding :

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.serviceAgent' --condition=None

Remplacez les éléments suivants :

• PROJECT_NUMBER : votre numéro de projet.
• MEMBER : ID du compte de service que vous avez copié précédemment

Colonne de requête

Générer du texte à l'aide d'une colonne de table pour fournir la requête.

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE PROJECT_ID.DATASET_ID.TABLE_NAME,
  STRUCT(TOKENS AS max_output_tokens, TEMPERATURE AS temperature,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output,
  STOP_SEQUENCES AS stop_sequences)
);

Remplacez les éléments suivants :

• PROJECT_ID : ID de votre projet.
• DATASET_ID : ID de l'ensemble de données contenant le modèle.
• MODEL_NAME : nom du modèle
• TABLE_NAME : nom de la table contenant la requête. Cette table doit comporter une colonne dont le nom correspond au nom de la colonne de caractéristiques dans le modèle réglé. Le nom de la colonne de caractéristiques dans le modèle peut être défini à l'aide de l'option PROMPT_COL lors de la création du modèle. Sinon, le nom de la colonne de caractéristiques dans le modèle est prompt par défaut. Vous pouvez également utiliser un alias pour utiliser une colonne portant un nom différent.
• TOKENS : valeur INT64 qui définit le nombre maximal de jetons pouvant être générés dans la réponse. Cette valeur doit être comprise dans la plage [1,8192]. Spécifiez une valeur inférieure pour obtenir des réponses plus courtes et une valeur supérieure pour des réponses plus longues. La valeur par défaut est 128.
• TEMPERATURE : valeur FLOAT64 comprise dans la plage [0.0,1.0] qui contrôle le degré de randomisation dans la sélection des jetons. La valeur par défaut est 0.

  Des valeurs inférieures pour temperature conviennent aux requêtes qui nécessitent une réponse plus déterministe et moins ouverte ou créative, tandis que des valeurs plus élevées pour temperature peuvent entraîner des résultats plus diversifiés ou créative. Une valeur 0 pour temperature est déterministe, ce qui signifie que la réponse dont la probabilité est la plus élevée est toujours sélectionnée.

• TOP_P : une valeur FLOAT64 comprise dans la plage [0.0,1.0] permet de déterminer la probabilité de sélection des jetons. Spécifiez une valeur inférieure pour obtenir des réponses moins aléatoires et une valeur supérieure pour des réponses plus aléatoires. La valeur par défaut est 0.95.
• FLATTEN_JSON : valeur BOOL qui détermine si le texte généré et les attributs de sécurité doivent être renvoyés dans des colonnes distinctes. La valeur par défaut est FALSE.
• STOP_SEQUENCES : valeur ARRAY<STRING> qui supprime les chaînes spécifiées si elles sont incluses dans les réponses du modèle. Les chaînes correspondent exactement, y compris la casse. La valeur par défaut est un tableau vide.
• GROUND_WITH_GOOGLE_SEARCH : valeur BOOL qui détermine si le modèle Vertex AI utilise l'ancrage avec la recherche Google lors de la génération de réponses. L'ancrage permet au modèle d'utiliser des informations supplémentaires provenant d'Internet lorsqu'il génère une réponse, afin de rendre les réponses plus spécifiques et factuelles. Lorsque flatten_json_output et ce champ sont tous deux définis sur True, une colonne ml_generate_text_grounding_result supplémentaire est incluse dans les résultats, fournissant ainsi les sources utilisées par le modèle pour collecter des informations supplémentaires. La valeur par défaut est FALSE.
• SAFETY_SETTINGS : valeur ARRAY<STRUCT<STRING AS category, STRING AS threshold>> qui configure les seuils de sécurité du contenu pour filtrer les réponses. Le premier élément de la structure spécifie une catégorie de préjudice, et le second élément spécifie un seuil de blocage correspondant. Le modèle filtre les contenus qui ne respectent pas ces paramètres. Vous ne pouvez spécifier chaque catégorie qu'une seule fois. Par exemple, vous ne pouvez pas spécifier à la fois STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_MEDIUM_AND_ABOVE' AS threshold) et STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_ONLY_HIGH' AS threshold). S'il n'existe aucun paramètre de sécurité pour une catégorie donnée, le paramètre de sécurité BLOCK_MEDIUM_AND_ABOVE est utilisé.

  Voici les catégories acceptées :

  • HARM_CATEGORY_HATE_SPEECH
  • HARM_CATEGORY_DANGEROUS_CONTENT
  • HARM_CATEGORY_HARASSMENT
  • HARM_CATEGORY_SEXUALLY_EXPLICIT

  Les seuils acceptés sont les suivants :

  • BLOCK_NONE (Limité)
  • BLOCK_LOW_AND_ABOVE
  • BLOCK_MEDIUM_AND_ABOVE (par défaut)
  • BLOCK_ONLY_HIGH
  • HARM_BLOCK_THRESHOLD_UNSPECIFIED

  Pour en savoir plus, consultez les définitions de catégorie de sécurité et de seuil de blocage.

• REQUEST_TYPE : valeur STRING spécifiant le type de requête d'inférence à envoyer au modèle Gemini. Le type de requête détermine le quota utilisé par la requête. Les valeurs valides sont les suivantes :
  • DEDICATED : la fonction ML.GENERATE_TEXT n'utilise que le quota de débit provisionné. La fonction ML.GENERATE_TEXT renvoie l'erreur Provisioned throughput is not purchased or is not active si le quota de débit provisionné n'est pas disponible.
  • SHARED : la fonction ML.GENERATE_TEXT n'utilise que le quota partagé dynamique (QPD), même si vous avez acheté un quota de débit provisionné.
  • UNSPECIFIED : la fonction ML.GENERATE_TEXT utilise le quota comme suit :
    • Si vous n'avez pas acheté de quota de débit provisionné, la fonction ML.GENERATE_TEXT utilise le quota DSQ.
    • Si vous avez acheté un quota de débit provisionné, la fonction ML.GENERATE_TEXT l'utilise en premier. Si les requêtes dépassent le quota de débit provisionné, le trafic excédentaire utilise le quota DSQ.

  La valeur par défaut est UNSPECIFIED.

  Pour en savoir plus, consultez Utiliser le débit provisionné de Vertex AI.

  L'exemple suivant montre une requête avec ces caractéristiques :

  • Elle utilise la colonne prompt de la table prompts pour la requête.
  • Elle renvoie une réponse courte et relativement probable.
  • Elle renvoie le texte généré et les attributs de sécurité dans des colonnes distinctes.

  SELECT *
  FROM
    ML.GENERATE_TEXT(
      MODEL `mydataset.mymodel`,
      TABLE mydataset.prompts,
      STRUCT(
        0.4 AS temperature, 100 AS max_output_tokens, 0.5 AS top_p,
        TRUE AS flatten_json_output));

Requête à partir d'une recherche

Générer du texte à l'aide d'une recherche pour fournir la requête.

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  (PROMPT_QUERY),
  STRUCT(TOKENS AS max_output_tokens, TEMPERATURE AS temperature,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output,
  STOP_SEQUENCES AS stop_sequences)
);

Remplacez les éléments suivants :

• PROJECT_ID : ID de votre projet.
• DATASET_ID : ID de l'ensemble de données contenant le modèle.
• MODEL_NAME : nom du modèle
• PROMPT_QUERY : fournit les données de la requête.
• TOKENS : valeur INT64 qui définit le nombre maximal de jetons pouvant être générés dans la réponse. Cette valeur doit être comprise dans la plage [1,8192]. Spécifiez une valeur inférieure pour obtenir des réponses plus courtes et une valeur supérieure pour des réponses plus longues. La valeur par défaut est 128.
• TEMPERATURE : valeur FLOAT64 comprise dans la plage [0.0,1.0] qui contrôle le degré de randomisation dans la sélection des jetons. La valeur par défaut est 0.

  Des valeurs inférieures pour temperature conviennent aux requêtes qui nécessitent une réponse plus déterministe et moins ouverte ou créative, tandis que des valeurs plus élevées pour temperature peuvent entraîner des résultats plus diversifiés ou créative. Une valeur 0 pour temperature est déterministe, ce qui signifie que la réponse dont la probabilité est la plus élevée est toujours sélectionnée.

• TOP_P : une valeur FLOAT64 comprise dans la plage [0.0,1.0] permet de déterminer la probabilité de sélection des jetons. Spécifiez une valeur inférieure pour obtenir des réponses moins aléatoires et une valeur supérieure pour des réponses plus aléatoires. La valeur par défaut est 0.95.
• FLATTEN_JSON : valeur BOOL qui détermine si le texte généré et les attributs de sécurité doivent être renvoyés dans des colonnes distinctes. La valeur par défaut est FALSE.
• STOP_SEQUENCES : valeur ARRAY<STRING> qui supprime les chaînes spécifiées si elles sont incluses dans les réponses du modèle. Les chaînes correspondent exactement, y compris la casse. La valeur par défaut est un tableau vide.
• GROUND_WITH_GOOGLE_SEARCH : valeur BOOL qui détermine si le modèle Vertex AI utilise l'ancrage avec la recherche Google lors de la génération de réponses. L'ancrage permet au modèle d'utiliser des informations supplémentaires provenant d'Internet lorsqu'il génère une réponse, afin de rendre les réponses plus spécifiques et factuelles. Lorsque flatten_json_output et ce champ sont tous deux définis sur True, une colonne ml_generate_text_grounding_result supplémentaire est incluse dans les résultats, fournissant ainsi les sources utilisées par le modèle pour collecter des informations supplémentaires. La valeur par défaut est FALSE.
• SAFETY_SETTINGS : valeur ARRAY<STRUCT<STRING AS category, STRING AS threshold>> qui configure les seuils de sécurité du contenu pour filtrer les réponses. Le premier élément de la structure spécifie une catégorie de préjudice, et le second élément spécifie un seuil de blocage correspondant. Le modèle filtre les contenus qui ne respectent pas ces paramètres. Vous ne pouvez spécifier chaque catégorie qu'une seule fois. Par exemple, vous ne pouvez pas spécifier à la fois STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_MEDIUM_AND_ABOVE' AS threshold) et STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_ONLY_HIGH' AS threshold). S'il n'existe aucun paramètre de sécurité pour une catégorie donnée, le paramètre de sécurité BLOCK_MEDIUM_AND_ABOVE est utilisé.

  Voici les catégories acceptées :

  • HARM_CATEGORY_HATE_SPEECH
  • HARM_CATEGORY_DANGEROUS_CONTENT
  • HARM_CATEGORY_HARASSMENT
  • HARM_CATEGORY_SEXUALLY_EXPLICIT

  Les seuils acceptés sont les suivants :

  • BLOCK_NONE (Limité)
  • BLOCK_LOW_AND_ABOVE
  • BLOCK_MEDIUM_AND_ABOVE (par défaut)
  • BLOCK_ONLY_HIGH
  • HARM_BLOCK_THRESHOLD_UNSPECIFIED

  Pour en savoir plus, consultez les définitions de catégorie de sécurité et de seuil de blocage.

• REQUEST_TYPE : valeur STRING spécifiant le type de requête d'inférence à envoyer au modèle Gemini. Le type de requête détermine le quota utilisé par la requête. Les valeurs valides sont les suivantes :
  • DEDICATED : la fonction ML.GENERATE_TEXT n'utilise que le quota de débit provisionné. La fonction ML.GENERATE_TEXT renvoie l'erreur Provisioned throughput is not purchased or is not active si le quota de débit provisionné n'est pas disponible.
  • SHARED : la fonction ML.GENERATE_TEXT n'utilise que le quota partagé dynamique (QPD), même si vous avez acheté un quota de débit provisionné.
  • UNSPECIFIED : la fonction ML.GENERATE_TEXT utilise le quota comme suit :
    • Si vous n'avez pas acheté de quota de débit provisionné, la fonction ML.GENERATE_TEXT utilise le quota DSQ.
    • Si vous avez acheté un quota de débit provisionné, la fonction ML.GENERATE_TEXT l'utilise en premier. Si les requêtes dépassent le quota de débit provisionné, le trafic excédentaire utilise le quota DSQ.

  La valeur par défaut est UNSPECIFIED.

  Pour en savoir plus, consultez Utiliser le débit provisionné de Vertex AI.

  Exemple 1

  L'exemple suivant montre une requête avec ces caractéristiques :

  • Elle demande le résumé du texte dans la colonne body de la table articles.
  • Elle renvoie une réponse relativement longue et plus probable.
  • Elle renvoie le texte généré et les attributs de sécurité dans des colonnes distinctes.

  SELECT *
  FROM
    ML.GENERATE_TEXT(
      MODEL `mydataset.mymodel`,
      (
        SELECT CONCAT('Summarize this text', body) AS prompt
        FROM mydataset.articles
      ),
      STRUCT(
        0.2 AS temperature, 650 AS max_output_tokens, 0.2 AS top_p,
        TRUE AS flatten_json_output));

  Exemple 2

  L'exemple suivant montre une requête avec ces caractéristiques :

  • Elle utilise une requête pour créer les données de requête en concaténant les chaînes qui fournissent des préfixes de requête avec des colonnes de table.
  • Elle renvoie une réponse courte et relativement probable.
  • Elle ne renvoie pas le texte généré et les attributs de sécurité dans des colonnes distinctes.

  SELECT *
  FROM
    ML.GENERATE_TEXT(
      MODEL `mydataset.mytuned_model`,
      (
        SELECT CONCAT(question, 'Text:', description, 'Category') AS prompt
        FROM mydataset.input_table
      ),
      STRUCT(
        0.4 AS temperature, 100 AS max_output_tokens, 0.5 AS top_p,
        FALSE AS flatten_json_output));