Pour créer un data store et ingérer des données pour des recommandations génériques, accédez à la section correspondant à la source que vous prévoyez d'utiliser:
URL des sites Web
Console
Pour créer un data store et indexer les données d'un site Web à l'aide de la console Google Cloud, procédez comme suit:
Dans la console Google Cloud, accédez à la page Agent Builder.
Dans le menu de navigation, cliquez sur Data stores (Datastores).
Cliquez sur Nouveau data store.
Sur la page Sélectionnez une source de données, choisissez Contenu de site Web.
Indiquez si vous souhaitez activer l'indexation avancée de sites Web pour ce data store. Vous ne pourrez plus désactiver cette option par la suite.
L'indexation avancée des sites Web offre des fonctionnalités supplémentaires, telles que la synthèse de la recherche, la recherche avec des questions de suivi et les réponses extractives. L'indexation avancée de site Web entraîne des coûts supplémentaires et vous devez confirmer la propriété du domaine pour chaque site Web que vous indexez. Pour en savoir plus, consultez les pages Indexation avancée de sites Web et Tarifs.
Dans le champ Sites à inclure, spécifiez les URL des sites Web que vous souhaitez indexer. Incluez une URL par ligne, sans les séparer par une virgule.
Facultatif: Dans le champ Sites à exclure, saisissez les sites Web que vous souhaitez exclure de votre application.
Cliquez sur Continuer.
Attribuez un nom à votre datastore.
Sélectionnez un emplacement pour votre data store. L'indexation avancée de site Web doit être activée pour sélectionner un emplacement.
Cliquez sur Créer. Vertex AI Agent Builder crée votre data store et l'affiche sur la page Data Stores (Data stores).
Pour afficher des informations sur votre data store, cliquez sur son nom dans la colonne Nom. La page de votre data store s'affiche.
Si vous avez activé l'indexation avancée des sites Web, un avertissement s'affiche pour vous inviter à valider la propriété de votre domaine. Si vous n'avez pas assez de quota (le nombre de pages des sites Web que vous avez spécifiés dépasse le quota de votre projet pour le nombre de documents par projet), un avertissement supplémentaire s'affiche pour vous inviter à augmenter votre quota. La procédure ci-dessous vous explique comment valider la propriété d'un domaine et mettre à niveau votre quota.
Pour valider la propriété de votre domaine, procédez comme suit:
- Cliquez sur Valider dans la Google Search Console. La page Bienvenue dans la Google Search Console s'affiche.
- Suivez les instructions à l'écran pour valider un domaine ou un préfixe d'URL, selon que vous validez un domaine entier ou un préfixe d'URL faisant partie d'un domaine. Pour en savoir plus, consultez Valider la propriété de votre site dans l'aide de la Search Console.
- Une fois le workflow de validation du domaine terminé, revenez à la page Agent Builder (Outil de création d'agents) et cliquez sur Data Stores (Dépôts de données) dans le menu de navigation.
- Cliquez sur le nom de votre data store dans la colonne Nom. La page de votre data store s'affiche.
- Cliquez sur Actualiser l'état pour mettre à jour les valeurs de la colonne État. La colonne État de votre site Web indique que l'indexation est en cours.
- Répétez les étapes de validation du domaine pour chaque site Web nécessitant une validation de domaine jusqu'à ce que tous commencent à être indexés. Lorsque la colonne État d'une URL indique Indexée, les fonctionnalités d'indexation avancée des sites Web sont disponibles pour cette URL ou ce format d'URL.
Pour augmenter votre quota, procédez comme suit:
- Cliquez sur Mettre à niveau le quota. Le volet API Discovery Engine s'affiche, avec l'onglet Quotas sélectionné.
- Suivez les instructions de la section Demander une limite de quota supérieure de la documentation Google Cloud. Le quota à augmenter est Nombre de documents.
- Après avoir envoyé votre demande de quota supérieur, revenez à la page Agent Builder, puis cliquez sur Data Stores (Data stores) dans le menu de navigation.
- Cliquez sur le nom de votre data store dans la colonne Nom. La colonne État indique que l'indexation est en cours pour les sites Web ayant dépassé le quota. Lorsque la colonne État d'une URL indique Indexée, les fonctionnalités d'indexation avancée des sites Web sont disponibles pour cette URL ou ce format d'URL.
Étapes suivantes
Pour associer votre data store à une application, créez-en une et sélectionnez votre data store en suivant la procédure décrite dans la section Créer une application de recommandations générique.
Pour prévisualiser l'affichage de vos recommandations une fois votre application et votre data store configurés, consultez la section Obtenir des recommandations.
BigQuery
Pour ingérer des données à partir de BigQuery, procédez comme suit pour créer un data store et ingérer des données à l'aide de la console Google Cloud ou de l'API.
Avant d'importer vos données, consultez la section Préparer les données pour l'ingestion.
Console
Pour utiliser la console Google Cloud pour ingérer des données à partir de BigQuery, procédez comme suit:
Dans la console Google Cloud, accédez à la page Agent Builder.
Accédez à la page Datastores.
Cliquez sur Nouveau data store.
Sur la page Type, sélectionnez BigQuery.
Dans le champ Chemin d'accès BigQuery, cliquez sur Parcourir, sélectionnez une table que vous avez préparée pour l'ingestion, puis cliquez sur Sélectionner. Vous pouvez également saisir l'emplacement de la table directement dans le champ Chemin d'accès BigQuery.
Sélectionnez le type de données que vous importez.
Cliquez sur Continuer.
Si vous effectuez une importation ponctuelle de données structurées:
Mappez les champs sur les propriétés clés.
Si des champs importants sont manquants dans le schéma, utilisez Ajouter un champ pour les ajouter.
Pour en savoir plus, consultez la section À propos de la détection et de la modification automatiques.
Cliquez sur Continuer.
Choisissez une région pour votre data store.
Attribuez un nom à votre datastore.
Cliquez sur Créer.
Pour vérifier que votre data store a bien été créé, accédez à la page Datastores (Datastores), puis cliquez sur le nom de votre data store pour en afficher les détails sur la page Data (Données).
Pour vérifier l'état de l'ingestion, accédez à la page Data stores (Data stores) et cliquez sur le nom de votre data store pour en afficher les détails sur la page Data (Données). Lorsque la colonne d'état de l'onglet Activité passe de En cours à Importation terminée, l'ingestion est terminée.
Selon la taille de vos données, l'ingestion peut prendre de quelques minutes à plusieurs heures.
REST
Pour créer un data store et importer des données depuis BigQuery à l'aide de la ligne de commande, procédez comme suit:
Créez un data store.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_RECOMMENDATION"] }'
Remplacez les éléments suivants :
PROJECT_ID
: ID de votre projet Google CloudDATA_STORE_ID
: ID du data store de recommandations que vous souhaitez créer. Cet identifiant ne peut contenir que des lettres minuscules, des chiffres, des traits de soulignement et des traits d'union.DATA_STORE_DISPLAY_NAME
: nom à afficher du data store de recommandations que vous souhaitez créer.
Facultatif: Si vous importez des données structurées avec votre propre schéma, vous pouvez le fournir. Lorsque vous fournissez le schéma, vous obtenez généralement de meilleurs résultats. Dans le cas contraire, le schéma est détecté automatiquement. Pour en savoir plus, consultez la section Fournir ou détecter automatiquement un schéma.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/schemas/default_schema" \ -d '{ "structSchema": JSON_SCHEMA_OBJECT }'
Remplacez les éléments suivants :
PROJECT_ID
: ID de votre projet Google CloudDATA_STORE_ID
: ID du data store de recommandations.JSON_SCHEMA_OBJECT
: votre schéma JSON en tant qu'objet JSON (par exemple:{ "$schema": "https://json-schema.org/draft/2020-12/schema", "type": "object", "properties": { "title": { "type": "string", "keyPropertyMapping": "title" }, "categories": { "type": "array", "items": { "type": "string", "keyPropertyMapping": "category" } }, "uri": { "type": "string", "keyPropertyMapping": "uri" } } }
Importer des données depuis BigQuery
Si vous avez défini un schéma, assurez-vous que les données y sont conformes.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "bigquerySource": { "projectId": "PROJECT_ID", "datasetId":"DATASET_ID", "tableId": "TABLE_ID", "dataSchema": "DATA_SCHEMA", }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", "errorConfig": { "gcsPrefix": "ERROR_DIRECTORY" } }'
Remplacez les éléments suivants :
PROJECT_ID
: ID de votre projet Google CloudDATA_STORE_ID
: ID du data store de recommandations.DATASET_ID
: ID de l'ensemble de données BigQuery.TABLE_ID
: ID de la table BigQuery.- Si la table BigQuery ne se trouve pas sous
PROJECT_ID
, vous devez accorder au compte de serviceservice-<project number>@gcp-sa-discoveryengine.iam.gserviceaccount.com
l'autorisation "Lecteur de données BigQuery" pour la table BigQuery. Par exemple, si vous importez une table BigQuery du projet source "123" vers le projet de destination "456", attribuez des autorisationsservice-456@gcp-sa-discoveryengine.iam.gserviceaccount.com
à la table BigQuery sous le projet "123".
- Si la table BigQuery ne se trouve pas sous
DATA_SCHEMA
: facultatif. Les valeurs sontdocument
etcustom
. La valeur par défaut estdocument
.document
: la table BigQuery que vous utilisez doit respecter le schéma BigQuery par défaut fourni dans la section Préparer les données à l'ingestion. Vous pouvez définir vous-même l'ID de chaque document, tout en encapsulant toutes les données dans la chaîne jsonData.custom
: tout schéma de table BigQuery est accepté, et Recommendations génère automatiquement les ID de chaque document importé.
ERROR_DIRECTORY
: facultatif. Un répertoire Cloud Storage contenant des informations sur les erreurs d'importation (par exemple,gs://<your-gcs-bucket>/directory/import_errors
). Google recommande de laisser ce champ vide pour permettre à Recommendations de créer automatiquement un répertoire temporaire.RECONCILIATION_MODE
: facultatif. Les valeurs sontFULL
etINCREMENTAL
. La valeur par défaut estINCREMENTAL
. SpécifierINCREMENTAL
entraîne une actualisation incrémentielle des données de BigQuery vers votre data store. Une opération d'insertion et de mise à jour est effectuée, qui ajoute de nouveaux documents et remplace les documents existants par des documents mis à jour portant le même ID. SpécifierFULL
entraîne une rebase complète des documents de votre data store. En d'autres termes, les documents nouveaux et mis à jour sont ajoutés à votre data store, et les documents qui ne figurent pas dans BigQuery sont supprimés de votre data store. Le modeFULL
est utile si vous souhaitez supprimer automatiquement les documents dont vous n'avez plus besoin.AUTO_GENERATE_IDS
: facultatif. Indique si les ID de document doivent être générés automatiquement. Si ce paramètre est défini surtrue
, les ID de document sont générés en fonction d'un hachage de la charge utile. Notez que les ID de document générés peuvent ne pas rester cohérents lors de plusieurs importations. Si vous générez automatiquement des ID pour plusieurs importations, Google vous recommande vivement de définirreconciliationMode
surFULL
afin de maintenir la cohérence des ID de document.Indiquez
autoGenerateIds
uniquement lorsquebigquerySource.dataSchema
est défini surcustom
. Dans le cas contraire, une erreurINVALID_ARGUMENT
est renvoyée. Si vous ne spécifiez pasautoGenerateIds
ou si vous le définissez surfalse
, vous devez spécifieridField
. Sinon, l'importation des documents échoue.ID_FIELD
: facultatif. Spécifie les champs correspondant aux ID de document. Pour les fichiers sources BigQuery,idField
indique le nom de la colonne de la table BigQuery contenant les ID de document.Spécifiez
idField
uniquement lorsque: (1)bigquerySource.dataSchema
est défini surcustom
et (2)auto_generate_ids
est défini surfalse
ou n'est pas spécifié. Sinon, une erreurINVALID_ARGUMENT
est renvoyée.La valeur du nom de la colonne BigQuery doit être de type chaîne, comporter entre 1 et 63 caractères et être conforme à la norme RFC-1034. Sinon, l'importation des documents échoue.
C#
Pour en savoir plus, consultez la documentation de référence de l'API C# de Vertex AI Agent Builder.
Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Cet exemple ingère des données non structurées provenant de BigQuery ou de Cloud Storage dans un data store existant.
Go
Pour en savoir plus, consultez la documentation de référence de l'API Go de Vertex AI Agent Builder.
Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Cet exemple ingère des données non structurées provenant de BigQuery ou de Cloud Storage dans un data store existant.
Java
Pour en savoir plus, consultez la documentation de référence de l'API Java de Vertex AI Agent Builder.
Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Cet exemple ingère des données non structurées provenant de BigQuery ou de Cloud Storage dans un data store existant.
Node.js
Pour en savoir plus, consultez la documentation de référence de l'API Node.js de Vertex AI Agent Builder.
Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Cet exemple ingère des données non structurées provenant de BigQuery ou de Cloud Storage dans un data store existant.
Python
Pour en savoir plus, consultez la documentation de référence de l'API Python de Vertex AI Agent Builder.
Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Cet exemple ingère des données non structurées provenant de BigQuery ou de Cloud Storage dans un data store existant.
Ruby
Pour en savoir plus, consultez la documentation de référence de l'API Ruby de Vertex AI Agent Builder.
Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Cet exemple ingère des données non structurées provenant de BigQuery ou de Cloud Storage dans un data store existant.
Étapes suivantes
Pour associer votre data store à une application, créez-en une et sélectionnez votre data store en suivant la procédure décrite dans la section Créer une application de recommandations générique.
Pour prévisualiser l'affichage de vos recommandations une fois votre application et votre data store configurés, consultez la section Obtenir des recommandations.
Cloud Storage
Pour ingérer des données à partir de Cloud Storage, procédez comme suit pour créer un data store et ingérer des données à l'aide de la console Google Cloud ou de l'API.
Avant d'importer vos données, consultez la section Préparer les données pour l'ingestion.
Console
Pour utiliser la console pour ingérer des données à partir d'un bucket Cloud Storage, procédez comme suit:
Dans la console Google Cloud, accédez à la page Agent Builder.
Accédez à la page Datastores.
Cliquez sur Nouveau data store.
Sur la page Type, sélectionnez Cloud Storage.
Dans la section Sélectionner un dossier ou un fichier à importer, sélectionnez Dossier ou Fichier.
Cliquez sur Parcourir, puis sélectionnez les données que vous avez préparées pour l'ingestion, puis cliquez sur Sélectionner. Vous pouvez également saisir l'emplacement directement dans le champ
gs://
.Sélectionnez le type de données que vous importez.
Cliquez sur Continuer.
Si vous effectuez une importation ponctuelle de données structurées:
Mappez les champs sur les propriétés clés.
Si des champs importants sont manquants dans le schéma, utilisez Ajouter un champ pour les ajouter.
Pour en savoir plus, consultez la section À propos de la détection et de la modification automatiques.
Cliquez sur Continuer.
Choisissez une région pour votre data store.
Attribuez un nom à votre datastore.
Cliquez sur Créer.
Pour vérifier que votre data store a bien été créé, accédez à la page Datastores (Datastores), puis cliquez sur le nom de votre data store pour en afficher les détails sur la page Data (Données).
Pour vérifier l'état de l'ingestion, accédez à la page Data stores (Data stores) et cliquez sur le nom de votre data store pour en afficher les détails sur la page Data (Données). Lorsque la colonne d'état de l'onglet Activité passe de En cours à Importation terminée, l'ingestion est terminée.
Selon la taille de vos données, l'ingestion peut prendre de quelques minutes à plusieurs heures.
REST
Pour créer un data store et ingérer des données à partir de Cloud Storage à l'aide de la ligne de commande, procédez comme suit:
Créez un data store.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_RECOMMENDATION"], "contentConfig": "CONTENT_REQUIRED" }'
Remplacez les éléments suivants :
PROJECT_ID
: ID de votre projet Google CloudDATA_STORE_ID
: ID du data store de recommandations que vous souhaitez créer. Cet identifiant ne peut contenir que des lettres minuscules, des chiffres, des traits de soulignement et des traits d'union.DATA_STORE_DISPLAY_NAME
: nom à afficher du data store de recommandations que vous souhaitez créer.
Importez des données depuis Cloud Storage.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "gcsSource": { "inputUris": ["INPUT_FILE_PATTERN_1", "INPUT_FILE_PATTERN_2"], "dataSchema": "DATA_SCHEMA", }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", "errorConfig": { "gcsPrefix": "ERROR_DIRECTORY" } }'
Remplacez les éléments suivants :
PROJECT_ID
: ID de votre projet Google CloudDATA_STORE_ID
: ID du data store de recommandations.INPUT_FILE_PATTERN
: modèle de fichier dans Cloud Storage contenant vos documents.Pour les données structurées ou les données non structurées avec des métadonnées pour des documents non structurés, un exemple de modèle de fichier d'entrée est
gs://<your-gcs-bucket>/directory/object.json
, ou un modèle correspondant à un ou plusieurs fichiers, commegs://<your-gcs-bucket>/directory/*.json
.Pour les documents non structurés,
gs://<your-gcs-bucket>/directory/*.pdf
est un exemple. Chaque fichier correspondant au modèle devient un document.Si
<your-gcs-bucket>
ne se trouve pas sousPROJECT_ID
, vous devez accorder au compte de serviceservice-<project number>@gcp-sa-discoveryengine.iam.gserviceaccount.com
les autorisations "Lecteur des objets de l'espace de stockage" pour le bucket Cloud Storage. Par exemple, si vous importez un bucket Cloud Storage du projet source "123" vers le projet de destination "456", accordez des autorisationsservice-456@gcp-sa-discoveryengine.iam.gserviceaccount.com
au bucket Cloud Storage dans le projet "123".DATA_SCHEMA
: facultatif. Les valeurs sontdocument
,custom
,csv
etcontent
. La valeur par défaut estdocument
.document
: importez des données non structurées avec des métadonnées pour les documents non structurés. Chaque ligne du fichier doit respecter l'un des formats suivants. Vous pouvez définir l'ID de chaque document:{ "id": "<your-id>", "jsonData": "<JSON string>", "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }
{ "id": "<your-id>", "structData": <JSON object>, "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }
custom
: importez un fichier JSON pour les documents structurés. Les données sont organisées selon un schéma. Vous pouvez spécifier le schéma. Sinon, il est détecté automatiquement. Vous pouvez mettre la chaîne JSON du document dans un format cohérent directement dans chaque ligne, et les recommandations génèrent automatiquement les ID pour chaque document importé.content
: importez des documents non structurés (PDF, HTML, DOC, TXT, PPTX). L'ID de chaque document est généré automatiquement en tant que premiers 128 bits de SHA256(GCS_URI) encodés en tant que chaîne hexadécimale. Vous pouvez spécifier plusieurs formats de fichiers d'entrée, à condition que les fichiers correspondants ne dépassent pas la limite de 100 000 fichiers.csv
: incluez une ligne d'en-tête dans votre fichier CSV, avec chaque en-tête mappé à un champ de document. Spécifiez le chemin d'accès au fichier CSV à l'aide du champinputUris
.
ERROR_DIRECTORY
: facultatif. Un répertoire Cloud Storage contenant des informations sur les erreurs d'importation (par exemple,gs://<your-gcs-bucket>/directory/import_errors
). Google recommande de laisser ce champ vide pour permettre à Recommendations de créer automatiquement un répertoire temporaire.RECONCILIATION_MODE
: facultatif. Les valeurs sontFULL
etINCREMENTAL
. La valeur par défaut estINCREMENTAL
. SpécifierINCREMENTAL
entraîne une actualisation incrémentielle des données de Cloud Storage vers votre data store. Une opération d'insertion et de mise à jour est effectuée, qui ajoute de nouveaux documents et remplace les documents existants par des documents mis à jour portant le même ID. SpécifierFULL
entraîne une rebase complète des documents de votre data store. En d'autres termes, des documents nouveaux et mis à jour sont ajoutés à votre data store, et les documents qui ne figurent pas dans Cloud Storage sont supprimés de votre data store. Le modeFULL
est utile si vous souhaitez supprimer automatiquement les documents dont vous n'avez plus besoin.AUTO_GENERATE_IDS
: facultatif. Indique si les ID de document doivent être générés automatiquement. Si ce paramètre est défini surtrue
, les ID de document sont générés en fonction d'un hachage de la charge utile. Notez que les ID de document générés peuvent ne pas rester cohérents lors de plusieurs importations. Si vous générez automatiquement des ID pour plusieurs importations, Google vous recommande vivement de définirreconciliationMode
surFULL
afin de maintenir la cohérence des ID de document.Spécifiez
autoGenerateIds
uniquement lorsquegcsSource.dataSchema
est défini surcustom
oucsv
. Sinon, une erreurINVALID_ARGUMENT
est renvoyée. Si vous ne spécifiez pasautoGenerateIds
ou si vous le définissez surfalse
, vous devez spécifieridField
. Sinon, l'importation des documents échoue.ID_FIELD
: facultatif. Spécifie les champs correspondant aux ID de document. Pour les documents sources Cloud Storage,idField
spécifie le nom dans les champs JSON qui sont des ID de document. Par exemple, si{"my_id":"some_uuid"}
est le champ d'ID de document dans l'un de vos documents, spécifiez"idField":"my_id"
. Tous les champs JSON portant le nom"my_id"
sont identifiés comme des ID de document.Ne spécifiez ce champ que lorsque: (1)
gcsSource.dataSchema
est défini surcustom
oucsv
, et (2)auto_generate_ids
est défini surfalse
ou n'est pas spécifié. Sinon, une erreurINVALID_ARGUMENT
est renvoyée.Notez que la valeur du champ JSON Cloud Storage doit être de type chaîne, comporter entre 1 et 63 caractères et être conforme à la norme RFC-1034. Sinon, l'importation des documents échoue.
Notez que le nom de champ JSON spécifié par
id_field
doit être de type chaîne, comporter entre 1 et 63 caractères et être conforme à la norme RFC-1034. Sinon, l'importation des documents échoue.
C#
Pour en savoir plus, consultez la documentation de référence de l'API C# de Vertex AI Agent Builder.
Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Cet exemple ingère des données non structurées provenant de BigQuery ou de Cloud Storage dans un data store existant.
Go
Pour en savoir plus, consultez la documentation de référence de l'API Go de Vertex AI Agent Builder.
Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Cet exemple ingère des données non structurées provenant de BigQuery ou de Cloud Storage dans un data store existant.
Java
Pour en savoir plus, consultez la documentation de référence de l'API Java de Vertex AI Agent Builder.
Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Cet exemple ingère des données non structurées provenant de BigQuery ou de Cloud Storage dans un data store existant.
Node.js
Pour en savoir plus, consultez la documentation de référence de l'API Node.js de Vertex AI Agent Builder.
Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Cet exemple ingère des données non structurées provenant de BigQuery ou de Cloud Storage dans un data store existant.
Python
Pour en savoir plus, consultez la documentation de référence de l'API Python de Vertex AI Agent Builder.
Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Cet exemple ingère des données non structurées provenant de BigQuery ou de Cloud Storage dans un data store existant.
Ruby
Pour en savoir plus, consultez la documentation de référence de l'API Ruby de Vertex AI Agent Builder.
Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Cet exemple ingère des données non structurées provenant de BigQuery ou de Cloud Storage dans un data store existant.
Étapes suivantes
Pour associer votre data store à une application, créez-en une et sélectionnez votre data store en suivant la procédure décrite dans la section Créer une application de recommandations générique.
Pour prévisualiser l'affichage de vos recommandations une fois votre application et votre data store configurés, consultez la section Obtenir des recommandations.
Importer des données JSON structurées avec l'API
Pour importer directement un document ou un objet JSON à l'aide de l'API, procédez comme suit.
Avant d'importer vos données, préparez-les pour l'ingestion.
REST
Pour créer un data store et importer des données JSON structurées à l'aide de la ligne de commande, procédez comme suit:
Créez un data store.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_RECOMMENDATION"] }'
Remplacez les éléments suivants :
PROJECT_ID
: ID de votre projet Google CloudDATA_STORE_ID
: ID du data store de recommandations que vous souhaitez créer. Cet identifiant ne peut contenir que des lettres minuscules, des chiffres, des traits de soulignement et des traits d'union.DATA_STORE_DISPLAY_NAME
: nom à afficher du data store de recommandations que vous souhaitez créer.
Facultatif: Fournissez votre propre schéma. Lorsque vous fournissez un schéma, vous obtenez généralement de meilleurs résultats. Pour en savoir plus, consultez la section Fournir ou détecter automatiquement un schéma.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/schemas/default_schema" \ -d '{ "structSchema": JSON_SCHEMA_OBJECT }'
Remplacez les éléments suivants :
PROJECT_ID
: ID de votre projet Google CloudDATA_STORE_ID
: ID du data store de recommandations.JSON_SCHEMA_OBJECT
: votre schéma JSON en tant qu'objet JSON (par exemple:{ "$schema": "https://json-schema.org/draft/2020-12/schema", "type": "object", "properties": { "title": { "type": "string", "keyPropertyMapping": "title" }, "categories": { "type": "array", "items": { "type": "string", "keyPropertyMapping": "category" } }, "uri": { "type": "string", "keyPropertyMapping": "uri" } } }
Importez des données structurées conformes au schéma défini.
Vous pouvez importer des données de plusieurs manières:
Importez un document JSON.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents?documentId=DOCUMENT_ID" \ -d '{ "jsonData": "JSON_DOCUMENT_STRING" }'
Remplacez
JSON_DOCUMENT_STRING
par le document JSON sous forme de chaîne unique. Il doit respecter le schéma JSON que vous avez fourni à l'étape précédente, par exemple:```none { \"title\": \"test title\", \"categories\": [\"cat_1\", \"cat_2\"], \"uri\": \"test uri\"} ```
Importez un objet JSON.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents?documentId=DOCUMENT_ID" \ -d '{ "structData": JSON_DOCUMENT_OBJECT }'
Remplacez
JSON_DOCUMENT_OBJECT
par le document JSON en tant qu'objet JSON. Il doit respecter le schéma JSON que vous avez fourni à l'étape précédente, par exemple:```json { "title": "test title", "categories": [ "cat_1", "cat_2" ], "uri": "test uri" } ```
Mettez à jour avec un document JSON.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID" \ -d '{ "jsonData": "JSON_DOCUMENT_STRING" }'
Mise à jour avec un objet JSON.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID" \ -d '{ "structData": JSON_DOCUMENT_OBJECT }'
Étapes suivantes
Pour associer votre data store à une application, créez-en une et sélectionnez votre data store en suivant la procédure décrite dans la section Créer une application de recommandations générique.
Pour prévisualiser l'affichage de vos recommandations une fois votre application et votre data store configurés, consultez la section Obtenir des recommandations.
Créer un data store à l'aide de Terraform
Vous pouvez utiliser Terraform pour créer un data store vide. Une fois le data store vide créé, vous pouvez y insérer des données à l&#data store;aide de la console Google Cloud ou des commandes d'API.
Pour savoir comment appliquer ou supprimer une configuration Terraform, consultez la page Commandes Terraform de base.
Pour créer un data store vide à l'aide de Terraform, consultez
google_discovery_engine_data_store
.