Diese Seite wurde von der Cloud Translation API übersetzt.

Suchqualität bewerten

Im Rahmen der Suche mit Vertex AI Search können Sie die Qualität Ihrer Suchergebnisse für benutzerdefinierte Suchanwendungen anhand von Beispielanfragesätzen bewerten.

Sie können die Leistung benutzerdefinierter Suchanwendungen bewerten, die strukturierte, unstrukturierte und Websitedaten enthalten. Die Leistung von Apps mit mehreren Datenspeichern lässt sich nicht auswerten.

Auf dieser Seite wird erläutert, warum, wann und wie Sie die Suchqualität mit der Bewertungsmethode bewerten.

Übersicht

In diesem Abschnitt wird beschrieben, warum und wann eine Bewertung der Suchqualität durchgeführt werden sollte. Informationen zum Bewerten der Suchqualität finden Sie unter Prozess zur Bewertung der Suchqualität.

Gründe für die Durchführung einer Bewertung

Die Bewertung Ihrer Suchqualität liefert Messwerte, mit denen Sie Aufgaben wie die folgenden ausführen können:

Leistung Ihrer Suchmaschine auf aggregierter Ebene messen
Muster auf Abfrageebene erkennen, um potenzielle Verzerrungen oder Mängel in Ranking-Algorithmen zu verstehen
Vergleichen Sie frühere Bewertungsergebnisse, um die Auswirkungen von Änderungen an Ihrer Suchkonfiguration zu verstehen.

Eine Liste der Messwerte finden Sie unter Ergebnisse interpretieren.

Wann sollte eine Bewertung durchgeführt werden?

Vertex AI Search bietet mehrere Suchkonfigurationen, um die Suche zu optimieren. Sie können die Suchqualität nach den folgenden Änderungen bewerten:

Sie können die Tests auch regelmäßig ausführen, da sich das Suchverhalten regelmäßig ändert.

Beispielabfragesätze

Beispielhafte Abfragesätze werden für die Qualitätsbewertung verwendet. Der Beispielabfragesatz muss dem vorgeschriebenen Format entsprechen und Abfrageeinträge mit den folgenden verschachtelten Feldern enthalten:

Anfragen: Die Anfrage, deren Suchergebnisse verwendet werden, um die Bewertungsstatistiken zu generieren und die Suchqualität zu bestimmen. Google empfiehlt, eine Vielzahl von Suchanfragen zu verwenden, die das Suchmuster und das Verhalten Ihrer Nutzer widerspiegeln.
Ziele: Der URI des Dokuments, das als Suchergebnis der Beispielanfrage erwartet wird. Informationen zur Definition von Dokumenten für strukturierte, unstrukturierte und Website-Suchanwendungen finden Sie unter Dokumente.

Wenn die Zieldokumente mit den in der Suchantwort abgerufenen Dokumenten verglichen werden, werden Leistungsmesswerte generiert. Messwerte werden mit den folgenden beiden Methoden generiert:
- Dokumentabgleich: Die URIs der Zieldokumente werden mit den URIs der abgerufenen Dokumente verglichen. So wird ermittelt, ob die erwarteten Dokumente in den Suchergebnissen vorhanden sind. Beim Vergleich versucht die Evaluation API, die folgenden Felder in der angegebenen Reihenfolge zu extrahieren und den ersten verfügbaren Wert zu verwenden, um das Ziel mit dem abgerufenen Dokument abzugleichen:
  - cdoc_url im Feld structData der Dokumentdefinition
  - uri im Feld structData der Dokumentdefinition
  - link im Feld derivedStructData der Dokumentdefinition
  - url im Feld derivedStructData der Dokumentdefinition
- Seitenabgleich: Wenn Sie Seitenzahlen in Ihre Beispielziele aufnehmen, vergleicht die Evaluation API die Ergebnisse auf Seitenebene. Damit wird festgelegt, ob die in den Zielen genannten Seiten auch in der Suchantwort zitiert werden. Sie müssen extraktive Antworten aktivieren, um den Abgleich auf Seitenebene zu aktivieren. Die Evaluation API vergleicht die Seite mit der ersten extraktiven Antwort im Suchergebnis.

Zweck von Beispielabfragesätzen

Wenn Sie für alle Ihre Suchqualitätsbewertungen für einen bestimmten Datenspeicher dieselbe Beispielabfragegruppe verwenden, können Sie die Ergebnisse der Suchqualität konsistent und zuverlässig messen. So wird ein faires und wiederholbares System geschaffen.

Die Ergebnisse der einzelnen Auswertungen werden mit den Zielergebnissen für jede Beispielanfrage verglichen, um verschiedene Messwerte wie Recall, Precision und Normalized Discounted Cumulative Gain (NDCG) zu berechnen. Mithilfe dieser quantitativen Messwerte werden die Ergebnisse aus verschiedenen Suchkonfigurationen gerankt.

Kontingente und Limits

Für die Beispielabfragesätze gilt das folgende Limit:

Jede Gruppe von Beispielabfragen kann maximal 20.000 Abfragen enthalten.

Für die Beispielabfragesätze gilt das folgende Kontingent:

Sie können maximal 100 Beispielanfragesets pro Projekt und 500 Beispielanfragesets pro Organisation erstellen.

Weitere Informationen finden Sie unter Kontingente und Limits.

Beispiel für das Format eines Abfragesets

Das Abfrageset muss dem folgenden Schema entsprechen, wenn es im JSON-Format erstellt wird. Der Abfragesatz kann mehrere Abfrageeinträge mit jeweils einer Abfrage enthalten. Wenn die Einträge im NDJSON-Format (Newline Delimited JSON) vorliegen, muss jede Anfrage in einer neuen Zeile stehen.

Aus BigQuery und Cloud Storage importieren

Im folgenden Abschnitt finden Sie die Vorlagen für Beispielabfragesätze für den Import aus BigQuery und Cloud Storage.

Unstrukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, mit der Sie unstrukturierte Daten mit Metadaten auswerten können.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

SAMPLE_QUERY: Die Abfrage, mit der die Suchqualität getestet wird
PATH/TO/CLOUD/STORAGE/LOCATION: der Pfad zum Cloud Storage-Speicherort, an dem sich das erwartete Ergebnis befindet. Dies ist der Wert des Felds link im Feld derivedStructData der Dokumentdefinition.
PAGE_NUMBER_1: Ein optionales Feld, in dem die Seitenzahlen in der PDF-Datei angegeben werden, auf denen sich die erwartete Antwort auf die Anfrage befindet. Das ist nützlich, wenn die Datei mehrere Seiten hat.
CDOC_URL: Ein optionales Feld, um das Feld cdoc_url für die benutzerdefinierte Dokument-ID in den Dokumentmetadaten im Vertex AI Search-Datenspeicherschema anzugeben.

Strukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, mit der Sie strukturierte Daten aus BigQuery auswerten können.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

SAMPLE_QUERY: Die Abfrage, mit der die Suchqualität getestet wird
CDOC_URL: Ein Pflichtfeld, das das benutzerdefinierte cdoc_url-Feld für das strukturierte Datenfeld im Vertex AI Search-Datenspeicherschema angibt.

Websitedaten

Verwenden Sie die folgende Vorlage, um eine Beispielanfragedatei im JSON-Format zum Bewerten von Websiteinhalten zu erstellen.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

SAMPLE_QUERY: Die Abfrage, mit der die Suchqualität getestet wird
WEBSITE_URL: die Zielwebsite für die Anfrage.

Hier sehen Sie ein Beispiel für eine Beispielabfrage im JSON- und NDJSON-Format:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Aus dem lokalen Dateisystem importieren

Im folgenden Abschnitt finden Sie die Vorlagen für Beispielabfragesätze für den Import aus dem lokalen Dateisystem.

Unstrukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, mit der Sie unstrukturierte Daten mit Metadaten auswerten können.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

SAMPLE_QUERY: Die Abfrage, mit der die Suchqualität getestet wird
PATH/TO/CLOUD/STORAGE/LOCATION: der Pfad zum Cloud Storage-Speicherort, an dem sich die abzufragende Datei mit unstrukturierten Daten befindet. Dies ist der Wert des Felds link im Feld derivedStructData der Dokumentdefinition.
PAGE_NUMBER_1: Ein optionales Feld, in dem die Seitenzahlen angegeben werden können, auf denen sich die erforderliche Antwort auf die Anfrage in der PDF-Datei befindet. Das ist nützlich, wenn die Datei mehrere Seiten hat.
CDOC_URL: Ein optionales Feld, um das Feld cdoc_url für die benutzerdefinierte Dokument-ID in den Dokumentmetadaten im Vertex AI Search-Datenspeicherschema anzugeben.

Strukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, mit der Sie strukturierte Daten aus BigQuery auswerten können.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

SAMPLE_QUERY: Die Abfrage, mit der die Suchqualität getestet wird
CDOC_URL: Ein Pflichtfeld, das das benutzerdefinierte cdoc_url-Feld für das strukturierte Datenfeld im Vertex AI Search-Datenspeicherschema angibt.

Websitedaten

Verwenden Sie die folgende Vorlage, um eine Beispielanfragedatei im JSON-Format zum Bewerten von Websiteinhalten zu erstellen.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

SAMPLE_QUERY: Die Abfrage, mit der die Suchqualität getestet wird
WEBSITE_URL: die Zielwebsite für die Anfrage.

Hier ist ein Beispiel für einen Beispielsatz von Anfragen:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Prozess zur Bewertung der Suchqualität

So läuft die Bewertung der Suchqualität ab:

Beispielabfragesatz erstellen
Beispielabfrage importieren, die dem vorgeschriebenen JSON-Format entspricht.
Bewertung der Suchqualität ausführen.
Ergebnisse interpretieren

In den folgenden Abschnitten finden Sie eine Anleitung, wie Sie diese Schritte mit REST API-Methoden ausführen.

Hinweise

Es gilt das folgende Limit:
- Pro Projekt kann immer nur eine aktive Bewertung vorhanden sein.
Es gilt das folgende Kontingent:
- Sie können maximal fünf Bewertungsanfragen pro Tag und Projekt stellen. Weitere Informationen finden Sie unter Kontingente und Limits.
Wenn Sie Messwerte auf Seitenebene erhalten möchten, müssen Sie extrahierende Antworten aktivieren.

Beispielabfragesatz erstellen

Sie können einen Beispielabfragesatz erstellen und damit die Qualität der Suchantworten für einen bestimmten Datenspeicher bewerten. So erstellen Sie einen Beispielabfragesatz:

REST

Das folgende Beispiel zeigt, wie Sie den Beispielabfragesatz mit der Methode sampleQuerySets.create erstellen.

Erstellen Sie den Beispielabfragesatz.

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

Ersetzen Sie Folgendes:

PROJECT_ID: die ID Ihres Google Cloud Projekts.
SAMPLE_QUERY_SET_ID: Eine benutzerdefinierte ID für Ihren Beispielsatz von Anfragen.
SAMPLE_QUERY_SET_DISPLAY_NAME: Ein benutzerdefinierter Name für Ihren Beispielabfragesatz.

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID",
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME",
  "createTime": "CREATION_DATETIME"
}

Beispieldaten für Abfragen importieren

Nachdem Sie das Beispiel-Query-Set erstellt haben, importieren Sie die Beispiel-Query-Daten. Sie haben folgende Möglichkeiten, um die Beispielabfragedaten zu importieren:

Aus Cloud Storage importieren: Importieren Sie eine NDJSON-Datei aus einem Cloud Storage-Speicherort.
Aus BigQuery importieren: BigQuery-Daten aus einer BigQuery-Tabelle importieren. Informationen zum Erstellen der BigQuery-Tabelle aus Ihrer NDJSON-Datei finden Sie unter JSON-Daten aus Cloud Storage laden.
Aus dem lokalen Dateisystem importieren: Erstellen Sie den Beispielabfragesatz in Ihrem lokalen Dateisystem und importieren Sie ihn.

Cloud Storage

Erstellen Sie die Beispielabfragesätze, die dem Beispielabfragesatzformat entsprechen.
Importieren Sie die JSON-Datei mit dem Beispielabfragesatz über die Methode sampleQueries.import aus einem Cloud Storage-Speicherort.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'
```
Ersetzen Sie Folgendes:
- PROJECT_ID: die ID Ihres Google Cloud Projekts.
- SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für Ihren Beispielabfragesatz, die Sie beim Erstellen des Beispielabfragesatzes definiert haben.
- INPUT_FILE_PATH: der Pfad zum Cloud Storage-Speicherort für Ihren Beispielanfragesatz.
- ERROR_DIRECTORY: Ein optionales Feld, in dem der Pfad zum Cloud Storage-Speicherort angegeben wird, an dem Fehlerdateien protokolliert werden, wenn Importfehler auftreten. Google empfiehlt, dieses Feld leer zu lassen oder das Feld errorConfig zu entfernen, damit Vertex AI Search automatisch einen temporären Speicherort erstellen kann.
Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Notieren Sie sich den Wert von OPERATION_ID. Sie benötigen diesen Wert im nächsten Schritt, um den Status dieses lang andauernden Vorgangs abzufragen.
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Rufen Sie den Status des Vorgangs mit langer Ausführungszeit (Long-Running Operation, LRO) mit der Methode operations.get ab.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Wenn Fehler auftreten und der Import fehlschlägt, enthält die Antwort ein failureCount-Feld, in dem die Anzahl der Beispielanfragen angegeben ist, die nicht importiert werden konnten.

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_NUMBER_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

BigQuery

Erstellen Sie die Beispielabfragesätze, die dem Beispielabfragesatzformat entsprechen.
Importieren Sie die JSON-Datei mit dem Beispielabfragesatz über die Methode sampleQueries.import aus einem BigQuery-Speicherort.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'
```
Ersetzen Sie Folgendes:
- PROJECT_ID: die ID Ihres Google Cloud Projekts.
- SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für Ihren Beispielabfragesatz, die Sie beim Erstellen des Beispielabfragesatzes definiert haben.
- DATASET_ID: die ID des BigQuery-Datasets, das die Beispielabfragegruppe enthält.
- TABLE_ID: Die ID Ihrer BigQuery-Tabelle, die den Beispielabfragesatz enthält.
- ERROR_DIRECTORY: Ein optionales Feld, in dem der Pfad zum Cloud Storage-Speicherort angegeben wird, an dem Fehlerdateien protokolliert werden, wenn Importfehler auftreten. Google empfiehlt, dieses Feld leer zu lassen oder das Feld `errorConfig` zu entfernen, damit Vertex AI Search automatisch einen temporären Speicherort erstellen kann.
Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Notieren Sie sich den Wert von OPERATION_ID. Sie benötigen diesen Wert im nächsten Schritt, um den Status dieses lang andauernden Vorgangs abzufragen.
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Rufen Sie den Status des Vorgangs mit langer Ausführungszeit (Long-Running Operation, LRO) mit der Methode operations.get ab.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Wenn Fehler auftreten und der Import fehlschlägt, enthält die Antwort das Feld failureCount, in dem die Anzahl der Beispielabfragen angegeben ist, die nicht importiert werden konnten.

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

Lokales Dateisystem

Erstellen Sie die Beispielabfragesätze, die dem Beispielabfragesatzformat entsprechen.
Importieren Sie die JSON-Datei mit dem Beispiel-Abfragesatz über die Methode sampleQueries.import aus einem lokalen Dateisystem.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json
```
Ersetzen Sie Folgendes:
- PROJECT_ID: die ID Ihres Google Cloud Projekts.
- SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für Ihren Beispielabfragesatz, die Sie beim Erstellen des Beispielabfragesatzes definiert haben.
- PATH/TO/LOCAL/FILE.json: der Pfad zur JSON-Datei, die den Beispielabfragesatz enthält.
Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Notieren Sie sich den Wert von OPERATION_ID. Sie benötigen diesen Wert im nächsten Schritt, um den Status dieses lang andauernden Vorgangs abzufragen.
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Rufen Sie den Status des Vorgangs mit langer Ausführungszeit (Long-Running Operation, LRO) mit der Methode operations.get ab.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Antwort

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

Bewertung der Qualität der Google Suche durchführen

Nachdem Sie die Beispielabfragedaten in die Beispielabfragesätze importiert haben, führen Sie die folgenden Schritte aus, um die Bewertung der Suchqualität auszuführen.

REST

Bewertung der Suchqualität starten

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

Ersetzen Sie Folgendes:

PROJECT_ID: die ID Ihres Google Cloud Projekts.
SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für Ihren Beispielabfragesatz, die Sie beim Erstellen des Beispielabfragesatzes definiert haben.
APP_ID: Die ID der Vertex AI Search-Anwendung, deren Suchqualität Sie bewerten möchten.

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Notieren Sie sich den Wert von EVALUATION_ID. Sie benötigen diesen Wert im nächsten Schritt, um den Status der Auswertung abzufragen. Die Auswertung ist ein Vorgang mit langer Ausführungszeit.

{
 "name": "projects/PROJECT_NUMBER/locations/global/operations/OPERATION_ID",
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.Evaluation",
   "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
   "evaluationSpec": {
     "querySetSpec": {
       "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
     },
     "searchRequest": {
       "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
     }
   },
   "state": "PENDING"
 }
}

Behalten Sie den Fortschritt der Bewertung im Blick.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

Ersetzen Sie Folgendes:

PROJECT_ID: die ID Ihres Google Cloud Projekts.
EVALUATION_ID: Die ID für Ihren Bewertungsjob, die im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung gestartet haben.

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Der Status der Überprüfung wird als PENDING angezeigt, bis die Überprüfung abgeschlossen ist.

{
"name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
"evaluationSpec": {
  "querySetSpec": {
    "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
  },
  "searchRequest": {
    "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
  }
},
"state": "PENDING"
"createTime": "CREATION_DATETIME"
}

Aggregierte Ergebnisse abrufen

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

Ersetzen Sie Folgendes:

PROJECT_ID: die ID Ihres Google Cloud Projekts.
EVALUATION_ID: Die ID für Ihren Bewertungsjob, die im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung gestartet haben.

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Der Status der Überprüfung wird als PENDING angezeigt, bis die Überprüfung abgeschlossen ist.

{
 "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 },
 "qualityMetrics": {
   "docRecall": {
     "top1": DOC_RECALL_TOP_1,
     "top3": DOC_RECALL_TOP_3,
     "top5": DOC_RECALL_TOP_5,
     "top10": DOC_RECALL_TOP_10
   },
   "docPrecision": {
     "top1": DOC_PRECISION_TOP_1,
     "top3": DOC_PRECISION_TOP_3,
     "top5": DOC_PRECISION_TOP_5,
     "top10": DOC_PRECISION_TOP_10
   },
   "docNdcg": {
     "top1": DOC_NDCG_TOP_1,
     "top3": DOC_NDCG_TOP_3,
     "top5": DOC_NDCG_TOP_5,
     "top10": DOC_NDCG_TOP_10
   },
   "pageRecall": {
     "top1": PAGE_RECALL_TOP_1,
     "top3": PAGE_RECALL_TOP_3,
     "top5": PAGE_RECALL_TOP_5,
     "top10": PAGE_RECALL_TOP_10
   },
   "pageNdcg": {
     "top1": PAGE_NDCG_TOP_1,
     "top3": PAGE_NDCG_TOP_3,
     "top5": PAGE_NDCG_TOP_5,
     "top10": PAGE_NDCG_TOP_10
    }
  },
 "state": "SUCCEEDED",
 "error": {},
 "createTime": "CREATION_DATETIME",
 "endTime": "END_DATETIME"
}

Ergebnisse auf Abfrageebene abrufen

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

Ersetzen Sie Folgendes:

PROJECT_ID: die ID Ihres Google Cloud Projekts.
EVALUATION_ID: Die ID für Ihren Bewertungsjob, die im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung gestartet haben.

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Der Status der Überprüfung wird als PENDING angezeigt, bis die Überprüfung abgeschlossen ist.

{
 "evaluationResults": [
   {
     "sampleQuery": {
       "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_1",
       "queryEntry": {
         "query": "SAMPLE_QUERY_1",
         "targets": [
           {
             "uri": "URI_1"
           }
         ]
       }
     },
     "qualityMetrics": {
       "docRecall": {
         "top1": DOC_RECALL_TOP_1,
         "top3": DOC_RECALL_TOP_3,
         "top5": DOC_RECALL_TOP_5,
         "top10": DOC_RECALL_TOP_10
       },
       "docPrecision": {
         "top1": DOC_PRECISION_TOP_1,
         "top3": DOC_PRECISION_TOP_3,
         "top5": DOC_PRECISION_TOP_5,
         "top10": DOC_PRECISION_TOP_10
       },
       "docNdcg": {
         "top1": DOC_NDCG_TOP_1,
         "top3": DOC_NDCG_TOP_3,
         "top5": DOC_NDCG_TOP_5,
         "top10": DOC_NDCG_TOP_10
       },
       "pageRecall": {
         "top1": PAGE_RECALL_TOP_1,
         "top3": PAGE_RECALL_TOP_3,
         "top5": PAGE_RECALL_TOP_5,
         "top10": PAGE_RECALL_TOP_10
       },
       "pageNdcg": {
         "top1": PAGE_NDCG_TOP_1,
         "top3": PAGE_NDCG_TOP_3,
         "top5": PAGE_NDCG_TOP_5,
         "top10": PAGE_NDCG_TOP_10
        }
      }
   },
   {
     "sampleQuery": {
       "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_2",
       "queryEntry": {
         "query": "SAMPLE_QUERY_2",
         "targets": [
           {
             "uri": "URI_2"
           }
         ]
       }
     },
     "qualityMetrics": {
       "docRecall": {
         "top1": DOC_RECALL_TOP_1,
         "top3": DOC_RECALL_TOP_3,
         "top5": DOC_RECALL_TOP_5,
         "top10": DOC_RECALL_TOP_10
       },
       "docPrecision": {
         "top1": DOC_PRECISION_TOP_1,
         "top3": DOC_PRECISION_TOP_3,
         "top5": DOC_PRECISION_TOP_5,
         "top10": DOC_PRECISION_TOP_10
       },
       "docNdcg": {
         "top1": DOC_NDCG_TOP_1,
         "top3": DOC_NDCG_TOP_3,
         "top5": DOC_NDCG_TOP_5,
         "top10": DOC_NDCG_TOP_10
       },
       "pageRecall": {
         "top1": PAGE_RECALL_TOP_1,
         "top3": PAGE_RECALL_TOP_3,
         "top5": PAGE_RECALL_TOP_5,
         "top10": PAGE_RECALL_TOP_10
       },
       "pageNdcg": {
         "top1": PAGE_NDCG_TOP_1,
         "top3": PAGE_NDCG_TOP_3,
         "top5": PAGE_NDCG_TOP_5,
         "top10": PAGE_NDCG_TOP_10
        }
      }
   }
 ]
}

Ergebnisse nachvollziehen

In der folgenden Tabelle werden die Messwerte beschrieben, die in Ihren Auswertungsergebnissen zurückgegeben werden.

Name	Beschreibung	Voraussetzungen
`docRecall`	Trefferquote pro Dokument bei verschiedenen Top-K-Grenzwerten. Die Trefferquote ist der Anteil der abgerufenen relevanten Dokumente an allen relevanten Dokumenten. Der Wert `top5` bedeutet beispielsweise Folgendes: Wenn bei einer einzelnen Anfrage 3 von 5 relevanten Dokumenten unter den ersten 5 Ergebnissen abgerufen werden, kann die `docRecall` als 3/5 oder 0, 6 berechnet werden.	Die Beispielabfrage muss das Feld „URI“ enthalten.
`pageRecall`	Trefferquote pro Seite bei verschiedenen Top-k-Grenzwerten. Die Trefferquote ist der Anteil der abgerufenen relevanten Seiten an allen relevanten Seiten. Der Wert `top5` bedeutet beispielsweise Folgendes: Wenn bei einer einzelnen Suchanfrage 3 von 5 relevanten Seiten unter den ersten 5 Ergebnissen abgerufen werden, kann der `pageRecall` als 3/5 = 0, 6 berechnet werden.	Die Beispielabfrage muss die Felder „URI“ und „Seiten“ enthalten. Extrahierte Antworten müssen aktiviert sein.
`docNdcg`	Normalisierter diskontierter kumulierter Gewinn (NDCG) pro Dokument auf verschiedenen Top-k-Grenzwerten. Mit NDCG wird die Rankingqualität gemessen, wobei Top-Ergebnisse stärker gewichtet werden. Der NDCG-Wert kann für jede Anfrage gemäß Normalized CDG berechnet werden.	Die Beispielabfrage muss das Feld „URI“ enthalten.
`pageNdcg`	Normalisierter diskontierter kumulierter Gewinn (NDCG) pro Seite bei verschiedenen Top-k-Grenzwerten. Mit NDCG wird die Rankingqualität gemessen, wobei Top-Ergebnisse stärker gewichtet werden. Der NDCG-Wert kann für jede Anfrage gemäß Normalized CDG berechnet werden.	Die Beispielabfrage muss die Felder „URI“ und „Seiten“ enthalten. Extrahierte Antworten müssen aktiviert sein.
`docPrecision`	Genauigkeit pro Dokument bei verschiedenen Top-k-Grenzwerten. Die Präzision ist der Anteil der abgerufenen Dokumente, die relevant sind. Der Wert `top3` bedeutet beispielsweise Folgendes: Wenn bei einer einzelnen Abfrage 4 von 5 abgerufenen Dokumenten in den Top 5 relevant sind, kann der `docPrecision`-Wert als 4/5 oder 0, 8 berechnet werden.	Die Beispielabfrage muss das Feld „URI“ enthalten.

Anhand der Werte dieser unterstützten Messwerte können Sie die folgenden Aufgaben ausführen:

Zusammengefasste Messwerte analysieren:
- Sehen Sie sich die allgemeinen Messwerte wie durchschnittlicher Recall, Precision und normalisierter diskontierter kumulierter Gewinn (NDCG) an.
- Diese Messwerte bieten einen allgemeinen Überblick über die Leistung Ihrer Suchmaschine.
Ergebnisse auf Abfrageebene ansehen:
- Schlüsseln Sie einzelne Anfragen auf, um bestimmte Bereiche zu ermitteln, in denen die Suchmaschine gut oder schlecht abschneidet.
- Suchen Sie in den Ergebnissen nach Mustern, um potenzielle Fehler oder Mängel in den Ranking-Algorithmen zu erkennen.
Ergebnisse im Zeitverlauf vergleichen:
- Führen Sie regelmäßig Auswertungen durch, um Veränderungen der Suchqualität im Laufe der Zeit zu verfolgen.
- Anhand von Verlaufsdaten können Sie Trends erkennen und die Auswirkungen von Änderungen an Ihrer Suchmaschine bewerten.

Nächste Schritte

Verwenden Sie Cloud Scheduler, um die geplante Qualitätsbewertung einzurichten. Weitere Informationen finden Sie unter Authentifizierung mit HTTP-Zielen verwenden.

Suchqualität bewerten Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Übersicht

Gründe für die Durchführung einer Bewertung

Wann sollte eine Bewertung durchgeführt werden?

Beispielabfragesätze

Zweck von Beispielabfragesätzen

Kontingente und Limits

Beispiel für das Format eines Abfragesets

Aus BigQuery und Cloud Storage importieren

Unstrukturierte Daten

Strukturierte Daten

Websitedaten

JSON

NDJSON

Aus dem lokalen Dateisystem importieren

Unstrukturierte Daten

Strukturierte Daten

Websitedaten

JSON

Prozess zur Bewertung der Suchqualität

Hinweise

Beispielabfragesatz erstellen

REST

Antwort

Beispieldaten für Abfragen importieren

Cloud Storage

Antwort

Antwort

BigQuery

Antwort

Antwort

Lokales Dateisystem

Antwort

Antwort

Bewertung der Qualität der Google Suche durchführen

REST

Antwort

Antwort

Antwort

Antwort

Ergebnisse nachvollziehen

Nächste Schritte

Suchqualität bewerten