Cette page a été traduite par l'API Cloud Translation.

Évaluer la qualité de la recherche

Dans le cadre de votre expérience de recherche avec Vertex AI Search, vous pouvez évaluer la qualité de vos résultats de recherche pour les applications de recherche personnalisées à l'aide d'ensembles de requêtes échantillons.

Vous pouvez évaluer les performances des applications de recherche personnalisées qui contiennent des données structurées, non structurées et de site Web. Vous ne pouvez pas évaluer les performances des applications comportant plusieurs datastores.

Cette page explique pourquoi, quand et comment évaluer la qualité de la recherche à l'aide de la méthode d'évaluation.

Présentation

Cette section décrit pourquoi et quand évaluer la qualité de la recherche. Pour savoir comment évaluer la qualité des résultats de recherche, consultez Processus d'évaluation de la qualité des résultats de recherche.

Raisons d'effectuer une évaluation

L'évaluation de la qualité de votre recherche vous fournit des métriques qui vous aident à effectuer des tâches telles que les suivantes :

Évaluer les performances de votre moteur de recherche au niveau agrégé
Au niveau des requêtes, identifiez les tendances pour comprendre les biais ou les lacunes potentiels dans les algorithmes de classement.
Comparez les résultats d'évaluation historiques pour comprendre l'impact des modifications apportées à votre configuration de recherche.

Pour obtenir la liste des métriques, consultez Comprendre les résultats.

Quand effectuer l'évaluation

Vertex AI Search étend plusieurs configurations de recherche pour améliorer votre expérience de recherche. Vous pouvez évaluer la qualité de la recherche après avoir apporté les modifications suivantes :

Vous pouvez également exécuter régulièrement les tests d'évaluation, car le comportement de recherche est mis à jour périodiquement.

À propos des ensembles de requêtes exemples

Des exemples d'ensembles de requêtes sont utilisés pour évaluer la qualité. L'ensemble d'exemples de requêtes doit respecter le format prescrit et contenir des entrées de requête comportant les champs imbriqués suivants :

Requêtes : requête dont les résultats de recherche sont utilisés pour générer les métriques d'évaluation et déterminer la qualité de la recherche. Google vous recommande d'utiliser un ensemble varié de requêtes qui reflètent les habitudes de recherche et le comportement de vos utilisateurs.
Cibles : URI du document attendu comme résultat de recherche de l'exemple de requête. Pour comprendre la définition d'un document pour les applications de recherche de données structurées, non structurées et de sites Web, consultez Documents.

Lorsque les documents cibles sont comparés à ceux récupérés dans la réponse à la recherche, des métriques de performances sont générées. Les métriques sont générées à l'aide de ces deux techniques :
- Correspondance des documents : les URI des documents cibles sont comparés à ceux des documents récupérés. Cela permet de déterminer si les documents attendus sont présents dans les résultats de recherche. Lors de la comparaison, l'API d'évaluation tente d'extraire les champs suivants dans l'ordre indiqué et d'utiliser la première valeur disponible pour faire correspondre la cible au document récupéré :
  - cdoc_url dans le champ structData de la définition du document
  - uri dans le champ structData de la définition du document
  - link dans le champ derivedStructData de la définition du document
  - url dans le champ derivedStructData de la définition du document
- Correspondance des pages : lorsque vous incluez des numéros de page dans vos exemples de cibles, l'API Evaluation compare les résultats au niveau de la page. Cela détermine si les pages mentionnées dans les cibles sont également citées dans la réponse de recherche. Vous devez activer les réponses extractives pour activer la correspondance au niveau de la page. L'API d'évaluation fait correspondre la page à la première réponse extractive du résultat de recherche.

Objectif des ensembles d'exemples de requêtes

L'utilisation du même ensemble d'exemples de requêtes pour toutes vos évaluations de la qualité de la recherche pour un data store donné garantit une méthode cohérente et fiable pour mesurer les résultats de la qualité de la recherche. Cela permet également d'établir un système équitable et reproductible.

Les résultats de chaque évaluation sont comparés aux résultats cibles pour chaque exemple de requête afin de calculer différentes métriques, telles que le rappel, la précision et le gain cumulatif actualisé normalisé (NDCG). Ces métriques quantitatives sont utilisées pour classer les résultats de différentes configurations de recherche.

Quotas et limites

La limite suivante s'applique aux ensembles de requêtes exemples :

Chaque ensemble de requêtes échantillons peut contenir jusqu'à 20 000 requêtes.

Le quota suivant s'applique aux ensembles de requêtes d'exemple :

Vous pouvez créer jusqu'à 100 ensembles de requêtes exemples par projet et 500 ensembles de requêtes exemples par organisation.

Pour en savoir plus, consultez la page Quotas et limites.

Exemple de format d'ensemble de requêtes

L'ensemble de requêtes doit être conforme au schéma suivant lorsqu'il est construit au format JSON. L'ensemble de requêtes peut contenir plusieurs entrées de requête, chacune avec une requête. Lorsqu'elles sont présentées au format JSON délimité par un retour à la ligne (NDJSON), chaque entrée de requête doit figurer sur une nouvelle ligne.

Importer des données depuis BigQuery et Cloud Storage

La section suivante fournit les modèles d'ensemble de requêtes exemples pour l'importation à partir de BigQuery et Cloud Storage.

Données non structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer des données non structurées avec des métadonnées.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

SAMPLE_QUERY : requête utilisée pour tester et évaluer la qualité de la recherche
PATH/TO/CLOUD/STORAGE/LOCATION : chemin d'accès à l'emplacement Cloud Storage où se trouve le résultat attendu. Il s'agit de la valeur du champ link dans le champ derivedStructData de la définition du document.
PAGE_NUMBER_1 : champ facultatif permettant d'indiquer les numéros de page du fichier PDF où se trouve la réponse attendue à la requête. Cela est utile lorsque le fichier comporte plusieurs pages.
CDOC_URL : champ facultatif permettant d'indiquer le champ cdoc_url d'ID de document personnalisé dans les métadonnées du document dans le schéma du data store Vertex AI Search.

Données structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer les données structurées de BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

SAMPLE_QUERY : requête utilisée pour tester et évaluer la qualité de la recherche
CDOC_URL : champ obligatoire permettant d'indiquer le champ cdoc_url personnalisé pour le champ de données structurées dans le schéma du data store Vertex AI Search.

Données de site Web

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer le contenu d'un site Web.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

SAMPLE_QUERY : requête utilisée pour tester et évaluer la qualité de la recherche
WEBSITE_URL : site Web cible de la requête.

Voici un exemple d'ensemble de requêtes au format JSON et NDJSON :

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Importer à partir du système de fichiers local

La section suivante fournit les modèles d'ensemble de requêtes exemples à importer depuis le système de fichiers local.

Données non structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer des données non structurées avec des métadonnées.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

SAMPLE_QUERY : requête utilisée pour tester et évaluer la qualité de la recherche
PATH/TO/CLOUD/STORAGE/LOCATION : chemin d'accès à l'emplacement Cloud Storage où réside le fichier de données non structurées à interroger. Il s'agit de la valeur du champ link dans le champ derivedStructData de la définition du document.
PAGE_NUMBER_1 : champ facultatif permettant d'indiquer les numéros de page du fichier PDF où se trouve la réponse requise pour la requête. Cette option est utile si le fichier comporte plusieurs pages.
CDOC_URL : champ facultatif permettant d'indiquer le champ cdoc_url d'ID de document personnalisé dans les métadonnées du document dans le schéma du data store Vertex AI Search.

Données structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer les données structurées de BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

SAMPLE_QUERY : requête utilisée pour tester et évaluer la qualité de la recherche
CDOC_URL : champ obligatoire permettant d'indiquer le champ cdoc_url personnalisé pour le champ de données structurées dans le schéma du data store Vertex AI Search.

Données de site Web

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer le contenu d'un site Web.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

SAMPLE_QUERY : requête utilisée pour tester et évaluer la qualité de la recherche
WEBSITE_URL : site Web cible de la requête.

Voici un exemple d'ensemble de requêtes :

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Processus d'évaluation de la qualité des résultats de recherche

Voici comment se déroule l'évaluation de la qualité des résultats de recherche :

Créez un exemple de jeu de requêtes.
Importez un exemple de requête conforme au format JSON prescrit.
Exécutez l'évaluation de la qualité de la recherche.
Comprendre les résultats

Les sections suivantes expliquent comment effectuer ces étapes à l'aide des méthodes de l'API REST.

Avant de commencer

La limite suivante s'applique :
- À un moment donné, vous ne pouvez avoir qu'une seule évaluation active par projet.
Le quota suivant s'applique :
- Vous pouvez envoyer jusqu'à cinq demandes d'évaluation par jour et par projet. Pour en savoir plus, consultez la page Quotas et limites.
Pour obtenir des métriques au niveau de la page, vous devez activer les réponses extractives.

Créer un exemple d'ensemble de requêtes

Vous pouvez créer un ensemble de requêtes d'échantillon et l'utiliser pour évaluer la qualité des réponses de recherche pour un data store donné. Pour créer un exemple d'ensemble de requêtes, procédez comme suit :

REST

L'exemple suivant montre comment créer l'ensemble de requêtes d'exemple à l'aide de la méthode sampleQuerySets.create.

Créez l'ensemble de requêtes exemples.

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud .
SAMPLE_QUERY_SET_ID : ID personnalisé pour votre ensemble de requêtes exemples.
SAMPLE_QUERY_SET_DISPLAY_NAME : nom personnalisé pour votre ensemble de requêtes d'exemple.

Réponse

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID",
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME",
  "createTime": "CREATION_DATETIME"
}

Importer des exemples de données de requête

Après avoir créé l'ensemble de requêtes exemples, importez les données de requêtes exemples. Pour importer les exemples de données de requête, vous pouvez effectuer l'une des opérations suivantes :

Importer depuis Cloud Storage : importez un fichier NDJSON depuis un emplacement Cloud Storage.
Importer depuis BigQuery : importez des données BigQuery à partir d'une table BigQuery. Pour créer la table BigQuery à partir de votre fichier NDJSON, consultez Charger des données JSON à partir de Cloud Storage.
Importez-les depuis votre système de fichiers local : créez l'ensemble de requêtes exemples dans votre système de fichiers local, puis importez-le.

Cloud Storage

Créez les exemples d'ensembles de requêtes qui respectent le format des exemples d'ensembles de requêtes.
Importez le fichier JSON contenant l'ensemble d'exemples de requêtes à partir d'un emplacement Cloud Storage à l'aide de la méthode sampleQueries.import.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'
```
Remplacez les éléments suivants :
- PROJECT_ID : ID de votre projet Google Cloud .
- SAMPLE_QUERY_SET_ID : ID personnalisé de votre ensemble de requêtes d'exemple que vous avez défini lors de la création de l'ensemble de requêtes d'exemple.
- INPUT_FILE_PATH : chemin d'accès à l'emplacement Cloud Storage de votre ensemble de requêtes d'exemple.
- ERROR_DIRECTORY : champ facultatif permettant de spécifier le chemin d'accès à l'emplacement Cloud Storage où les fichiers d'erreur sont consignés en cas d'erreur d'importation. Google recommande de laisser ce champ vide ou de supprimer le champ errorConfig afin que Vertex AI Search puisse créer automatiquement un emplacement temporaire.
Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. Notez la valeur de OPERATION_ID. Vous aurez besoin de cette valeur à l'étape suivante pour interroger l'état de cette opération de longue durée (LRO).
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Obtenez l'état de l'opération de longue durée (LRO) à l'aide de la méthode operations.get.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. En cas d'erreurs et d'échec de l'importation, la réponse affiche un champ failureCount pour indiquer le nombre de requêtes exemples qui n'ont pas pu être importées.

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_NUMBER_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

BigQuery

Créez les exemples d'ensembles de requêtes qui respectent le format des exemples d'ensembles de requêtes.
Importez le fichier JSON contenant l'ensemble d'exemples de requêtes à partir d'un emplacement BigQuery à l'aide de la méthode sampleQueries.import.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'
```
Remplacez les éléments suivants :
- PROJECT_ID : ID de votre projet Google Cloud .
- SAMPLE_QUERY_SET_ID : ID personnalisé de votre ensemble de requêtes d'exemple que vous avez défini lors de la création de l'ensemble de requêtes d'exemple.
- DATASET_ID : ID de l'ensemble de données BigQuery contenant l'ensemble d'exemples de requêtes.
- TABLE_ID : ID de votre table BigQuery contenant l'ensemble de requêtes d'échantillon.
- ERROR_DIRECTORY : champ facultatif permettant de spécifier le chemin d'accès à l'emplacement Cloud Storage où les fichiers d'erreur sont consignés en cas d'erreur d'importation. Google recommande de laisser ce champ vide ou de supprimer le champ `errorConfig` afin que Vertex AI Search puisse créer automatiquement un emplacement temporaire.
Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. Notez la valeur de OPERATION_ID. Vous aurez besoin de cette valeur à l'étape suivante pour interroger l'état de cette opération de longue durée (LRO).
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Obtenez l'état de l'opération de longue durée (LRO) à l'aide de la méthode operations.get.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Réponse

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

Système de fichiers local

Créez les exemples d'ensembles de requêtes qui respectent le format des exemples d'ensembles de requêtes.
Importez le fichier JSON contenant l'ensemble de requêtes d'exemple à partir d'un emplacement du système de fichiers local à l'aide de la méthode sampleQueries.import.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json
```
Remplacez les éléments suivants :
- PROJECT_ID : ID de votre projet Google Cloud .
- SAMPLE_QUERY_SET_ID : ID personnalisé de votre ensemble de requêtes d'exemple que vous avez défini lors de la création de l'ensemble de requêtes d'exemple.
- PATH/TO/LOCAL/FILE.json : chemin d'accès au fichier JSON contenant l'ensemble de requêtes d'exemple.
Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. Notez la valeur de OPERATION_ID. Vous aurez besoin de cette valeur à l'étape suivante pour interroger l'état de cette opération de longue durée (LRO).
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Obtenez l'état de l'opération de longue durée (LRO) à l'aide de la méthode operations.get.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Réponse

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

Exécuter l'évaluation de la qualité de la recherche

Après avoir importé les exemples de données de requête dans les exemples d'ensembles de requêtes, suivez ces étapes pour exécuter l'évaluation de la qualité de la recherche.

REST

Lancez une évaluation de la qualité de la recherche.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud .
SAMPLE_QUERY_SET_ID : ID personnalisé de votre ensemble de requêtes d'exemple que vous avez défini lors de la création de l'ensemble de requêtes d'exemple.
APP_ID : ID de l'application Vertex AI Search dont vous souhaitez évaluer la qualité de la recherche.

Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. Notez la valeur de EVALUATION_ID. Vous aurez besoin de cette valeur à l'étape suivante pour interroger l'état de l'évaluation, qui est une opération de longue durée (LRO).

{
 "name": "projects/PROJECT_NUMBER/locations/global/operations/OPERATION_ID",
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.Evaluation",
   "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
   "evaluationSpec": {
     "querySetSpec": {
       "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
     },
     "searchRequest": {
       "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
     }
   },
   "state": "PENDING"
 }
}

Surveillez la progression de l'évaluation.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud .
EVALUATION_ID : ID de votre job d'évaluation renvoyé à l'étape précédente lorsque vous avez lancé l'évaluation.

Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. L'état de l'évaluation est indiqué comme PENDING jusqu'à ce qu'elle soit terminée.

{
"name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
"evaluationSpec": {
  "querySetSpec": {
    "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
  },
  "searchRequest": {
    "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
  }
},
"state": "PENDING"
"createTime": "CREATION_DATETIME"
}

Récupérez les résultats agrégés.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud .
EVALUATION_ID : ID de votre job d'évaluation renvoyé à l'étape précédente lorsque vous avez lancé l'évaluation.

Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. L'état de l'évaluation est indiqué comme PENDING jusqu'à ce qu'elle soit terminée.

{
 "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 },
 "qualityMetrics": {
   "docRecall": {
     "top1": DOC_RECALL_TOP_1,
     "top3": DOC_RECALL_TOP_3,
     "top5": DOC_RECALL_TOP_5,
     "top10": DOC_RECALL_TOP_10
   },
   "docPrecision": {
     "top1": DOC_PRECISION_TOP_1,
     "top3": DOC_PRECISION_TOP_3,
     "top5": DOC_PRECISION_TOP_5,
     "top10": DOC_PRECISION_TOP_10
   },
   "docNdcg": {
     "top1": DOC_NDCG_TOP_1,
     "top3": DOC_NDCG_TOP_3,
     "top5": DOC_NDCG_TOP_5,
     "top10": DOC_NDCG_TOP_10
   },
   "pageRecall": {
     "top1": PAGE_RECALL_TOP_1,
     "top3": PAGE_RECALL_TOP_3,
     "top5": PAGE_RECALL_TOP_5,
     "top10": PAGE_RECALL_TOP_10
   },
   "pageNdcg": {
     "top1": PAGE_NDCG_TOP_1,
     "top3": PAGE_NDCG_TOP_3,
     "top5": PAGE_NDCG_TOP_5,
     "top10": PAGE_NDCG_TOP_10
    }
  },
 "state": "SUCCEEDED",
 "error": {},
 "createTime": "CREATION_DATETIME",
 "endTime": "END_DATETIME"
}

Récupérez les résultats au niveau de la requête.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud .
EVALUATION_ID : ID de votre job d'évaluation renvoyé à l'étape précédente lorsque vous avez lancé l'évaluation.

Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. L'état de l'évaluation est indiqué comme PENDING jusqu'à ce qu'elle soit terminée.

{
 "evaluationResults": [
   {
     "sampleQuery": {
       "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_1",
       "queryEntry": {
         "query": "SAMPLE_QUERY_1",
         "targets": [
           {
             "uri": "URI_1"
           }
         ]
       }
     },
     "qualityMetrics": {
       "docRecall": {
         "top1": DOC_RECALL_TOP_1,
         "top3": DOC_RECALL_TOP_3,
         "top5": DOC_RECALL_TOP_5,
         "top10": DOC_RECALL_TOP_10
       },
       "docPrecision": {
         "top1": DOC_PRECISION_TOP_1,
         "top3": DOC_PRECISION_TOP_3,
         "top5": DOC_PRECISION_TOP_5,
         "top10": DOC_PRECISION_TOP_10
       },
       "docNdcg": {
         "top1": DOC_NDCG_TOP_1,
         "top3": DOC_NDCG_TOP_3,
         "top5": DOC_NDCG_TOP_5,
         "top10": DOC_NDCG_TOP_10
       },
       "pageRecall": {
         "top1": PAGE_RECALL_TOP_1,
         "top3": PAGE_RECALL_TOP_3,
         "top5": PAGE_RECALL_TOP_5,
         "top10": PAGE_RECALL_TOP_10
       },
       "pageNdcg": {
         "top1": PAGE_NDCG_TOP_1,
         "top3": PAGE_NDCG_TOP_3,
         "top5": PAGE_NDCG_TOP_5,
         "top10": PAGE_NDCG_TOP_10
        }
      }
   },
   {
     "sampleQuery": {
       "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_2",
       "queryEntry": {
         "query": "SAMPLE_QUERY_2",
         "targets": [
           {
             "uri": "URI_2"
           }
         ]
       }
     },
     "qualityMetrics": {
       "docRecall": {
         "top1": DOC_RECALL_TOP_1,
         "top3": DOC_RECALL_TOP_3,
         "top5": DOC_RECALL_TOP_5,
         "top10": DOC_RECALL_TOP_10
       },
       "docPrecision": {
         "top1": DOC_PRECISION_TOP_1,
         "top3": DOC_PRECISION_TOP_3,
         "top5": DOC_PRECISION_TOP_5,
         "top10": DOC_PRECISION_TOP_10
       },
       "docNdcg": {
         "top1": DOC_NDCG_TOP_1,
         "top3": DOC_NDCG_TOP_3,
         "top5": DOC_NDCG_TOP_5,
         "top10": DOC_NDCG_TOP_10
       },
       "pageRecall": {
         "top1": PAGE_RECALL_TOP_1,
         "top3": PAGE_RECALL_TOP_3,
         "top5": PAGE_RECALL_TOP_5,
         "top10": PAGE_RECALL_TOP_10
       },
       "pageNdcg": {
         "top1": PAGE_NDCG_TOP_1,
         "top3": PAGE_NDCG_TOP_3,
         "top5": PAGE_NDCG_TOP_5,
         "top10": PAGE_NDCG_TOP_10
        }
      }
   }
 ]
}

Comprendre les résultats

Le tableau suivant décrit les métriques renvoyées dans vos résultats d'évaluation.

Nom	Description	Conditions requises
`docRecall`	Rappel par document, à différents niveaux de seuil top-k. Le rappel correspond à la fraction de documents pertinents récupérés sur l'ensemble des documents pertinents. Par exemple, la valeur `top5` signifie ce qui suit : Pour une requête unique, si trois documents pertinents sur cinq sont récupérés dans les cinq premiers résultats, la `docRecall` peut être calculée comme suit : 3/5 ou 0,6.	L'exemple de requête doit contenir le champ URI.
`pageRecall`	Rappel par page, à différents niveaux de seuil top-k. Le rappel correspond à la fraction de pages pertinentes récupérées sur l'ensemble des pages pertinentes. Par exemple, la valeur `top5` signifie ce qui suit : Pour une seule requête, si 3 pages pertinentes sur 5 sont récupérées dans les cinq premiers résultats, le `pageRecall` peut être calculé comme suit : 3/5 = 0,6.	L'exemple de requête doit contenir les champs "URI" et "pages". Les réponses extractives doivent être activées.
`docNdcg`	Bénéfice cumulé réduit normalisé (NDCG) par document, à différents niveaux de seuil top-k. Le NDCG mesure la qualité du classement, en accordant une plus grande pertinence aux résultats en première position. La valeur NDCG peut être calculée pour chaque requête selon la CDG normalisée.	L'exemple de requête doit contenir le champ URI.
`pageNdcg`	Bénéfice cumulé réduit normalisé (NDCG) par page, à différents niveaux de seuil top-k. Le NDCG mesure la qualité du classement, en accordant une plus grande pertinence aux résultats en première position. La valeur NDCG peut être calculée pour chaque requête selon la CDG normalisée.	L'exemple de requête doit contenir les champs "URI" et "pages". Les réponses extractives doivent être activées.
`docPrecision`	Précision par document, à différents niveaux de seuil top-k. La précision est la fraction des documents récupérés qui sont pertinents. Par exemple, la valeur `top3` signifie ce qui suit : Pour une seule requête, si 4 documents sur les 5 premiers résultats sont pertinents, la valeur `docPrecision` peut être calculée comme suit : 4/5, soit 0,8.	L'exemple de requête doit contenir le champ URI.

En fonction des valeurs de ces métriques acceptées, vous pouvez effectuer les tâches suivantes :

Analysez les métriques agrégées :
- Examinez les métriques globales telles que le rappel moyen, la précision et le gain cumulé réduit normalisé (NDCG).
- Ces métriques offrent une vue d'ensemble des performances de votre moteur de recherche.
Examiner les résultats au niveau de la requête :
- Examinez en détail les requêtes individuelles pour identifier les domaines spécifiques dans lesquels le moteur de recherche est performant ou non.
- Recherchez des tendances dans les résultats pour comprendre les biais ou les lacunes potentiels des algorithmes de classement.
Comparer les résultats au fil du temps :
- Effectuez régulièrement des évaluations pour suivre l'évolution de la qualité de la recherche au fil du temps.
- Utilisez les données historiques pour identifier les tendances et évaluer l'impact des modifications que vous apportez à votre moteur de recherche.

Étapes suivantes

Utilisez Cloud Scheduler pour configurer une évaluation de la qualité planifiée. Pour en savoir plus, consultez Utiliser l'authentification avec des cibles HTTP.

Évaluer la qualité de la recherche Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Présentation

Raisons d'effectuer une évaluation

Quand effectuer l'évaluation

À propos des ensembles de requêtes exemples

Objectif des ensembles d'exemples de requêtes

Quotas et limites

Exemple de format d'ensemble de requêtes

Importer des données depuis BigQuery et Cloud Storage

Données non structurées

Données structurées

Données de site Web

JSON

NDJSON

Importer à partir du système de fichiers local

Données non structurées

Données structurées

Données de site Web

JSON

Processus d'évaluation de la qualité des résultats de recherche

Avant de commencer

Créer un exemple d'ensemble de requêtes

REST

Réponse

Importer des exemples de données de requête

Cloud Storage

Réponse

Réponse

BigQuery

Réponse

Réponse

Système de fichiers local

Réponse

Réponse

Exécuter l'évaluation de la qualité de la recherche

REST

Réponse

Réponse

Réponse

Réponse

Comprendre les résultats

Étapes suivantes

Évaluer la qualité de la recherche