Erdung mit RAG prüfen

Im Rahmen von Retrieval Augmented Generation (RAG) in KI-Anwendungen können Sie Grounding prüfen, um zu ermitteln, wie fundiert ein Textabschnitt (Antwortkandidat) in einer bestimmten Gruppe von Referenztexten (Fakten) ist.

Die Check Grounding API gibt eine allgemeine Support-Bewertung von 0 bis 1 zurück, die angibt, inwieweit der Antwortkandidat mit den angegebenen Fakten übereinstimmt. Die Antwort enthält auch Quellenangaben für die Fakten, die jede Behauptung im Antwortkandidaten untermauern.

Für eine perfekte Fundierung muss jede Behauptung im Antwortkandidaten durch einen oder mehrere der angegebenen Fakten belegt werden. Die Behauptung wird also vollständig durch die Fakten abgedeckt. Wenn die Behauptung nur teilweise zutrifft, gilt sie nicht als begründet. Die Behauptung „Google wurde 1975 von Larry Page und Sergey Brin gegründet“ ist beispielsweise nur teilweise richtig, da die Namen der Gründer korrekt sind, das Datum jedoch falsch ist. Daher gilt die gesamte Behauptung als unbegründet. In dieser Version der API zum Prüfen von Fundierungen wird ein Satz als einzelne Behauptung betrachtet.

Mit der Check Grounding API können Sie beliebige Textabschnitte prüfen. Das kann ein von einem Menschen verfasster Teaser oder eine maschinell generierte Antwort sein. Ein typischer Anwendungsfall ist, eine von einem LLM generierte Antwort mit einer bestimmten Menge von Fakten abzugleichen. Die API zum Überprüfen der Fundierung ist auf Geschwindigkeit ausgelegt und hat eine Latenz von weniger als 500 ms. Diese Geschwindigkeit ermöglicht es Chatbots, die API zum Prüfen der Fundierung bei jeder Inferenz aufzurufen, ohne dass es zu einer erheblichen Verlangsamung kommt. Die API zum Prüfen von Fundierungen kann auch Referenzen für ihre Ergebnisse liefern, damit Nutzer erkennen können, welche Teile der generierten Antwort zuverlässig sind. Die API liefert auch einen Support-Score, der die allgemeine Genauigkeit der Antwort angibt. Durch Festlegen eines Zitationsschwellenwerts können Chatbots bei der Inferenz Antworten herausfiltern, die wahrscheinlich halluzinierte Behauptungen enthalten.

Auf dieser Seite wird beschrieben, wie Sie die Fundierung mit der API zum Prüfen der Fundierung prüfen.

Experimentelle Funktionen

Wenn Sie die folgenden experimentellen Funktionen ausprobieren möchten, die für die Check Grounding API verfügbar sind, wenden Sie sich an Ihr Google-Account-Team und bitten Sie darum, auf die Zulassungsliste gesetzt zu werden:

• Anti-Zitationen: Mit der Funktion „Anti-Zitationen“ erhalten Sie einen Widerspruchswert, der angibt, inwieweit der Antwortkandidat den angegebenen Fakten widerspricht. Die Antwort enthält auch Zitate zu den widersprüchlichen Fakten für jede Behauptung. Weitere Informationen finden Sie unter Widerspruchsbewertung für einen Antwortkandidaten abrufen.

• Nützlichkeitsfaktor:Der Nützlichkeitsfaktor gibt an, wie gut der Antwortkandidat auf eine bestimmte Anfrage eingeht. Weitere Informationen finden Sie unter Nützlichkeitsbewertung für einen Antwortkandidaten abrufen.

• Fundierung mit einem Datenspeicher:Die Fundierungsfakten werden aus einem Vertex AI Search-Datenspeicher abgerufen, anstatt Inline-Fakten bereitzustellen. Weitere Informationen finden Sie unter Fundierung mit einem Datenspeicher prüfen.

Begriffe definiert und erläutert

Bevor Sie die Check Grounding API verwenden, sollten Sie sich mit den Ein- und Ausgaben vertraut machen und wissen, wie Sie Ihre Grounding-Fakten für optimale Ergebnisse strukturieren.

Eingabedaten

Für die API zum Prüfen von Fundierungen sind die folgenden Eingaben in der Anfrage erforderlich.

• Antwortkandidat:Ein Antwortkandidat kann ein beliebiger Text sein, dessen Fundierung Sie überprüfen möchten. Im Kontext von Vertex AI Search kann der Antwortkandidat beispielsweise die generierte Suchzusammenfassung sein, die eine Anfrage beantwortet. Die API würde dann ermitteln, wie fundiert die Zusammenfassung auf den Eingabefakten basiert. Ein Antwortvorschlag kann maximal 4.096 Tokens lang sein. Ein Token ist ein Wort in einem Satz oder ein Punkt (ein Satzzeichen, das zum Beenden des Satzes verwendet wird). Der Satz „Sie trugen 2024 Konfektionskleidung.“ besteht beispielsweise aus sieben Tokens, darunter sechs Wörtern und einem Punkt.

• Fakten:Eine Reihe von Textsegmenten, die als Referenzen für die Fundierung verwendet werden. Für jedes Textsegment kann eine Reihe von Metadatenattributen (Schlüssel/Wert-Paare) angegeben werden. „Autor“ und „Titel“ sind beispielsweise typische Attributschlüssel.

  Der Dienst unterstützt bis zu 200 Fakten mit jeweils maximal 10.000 Zeichen.

  Google empfiehlt, nicht eine sehr große Tatsache mit allen Informationen anzugeben. Stattdessen können Sie bessere Ergebnisse erzielen, indem Sie große Fakten in kleinere Fakten aufteilen und die entsprechenden Attribute für die kleineren Fakten angeben. Sie können beispielsweise eine große Faktenangabe nach Titel, Autor oder URL aufteilen und diese Informationen in Attributen angeben.

• Zitiergrenzwert: Ein Gleitkommawert zwischen 0 und 1, der die Konfidenz für die Zitationen steuert, die den Antwortkandidaten unterstützen. Ein höherer Schwellenwert erfordert ein höheres Konfidenzniveau. Ein höherer Schwellenwert führt daher zu weniger, aber stärkeren Zitierungen.

Ausgabedaten

Die Check Grounding API gibt für einen Antwortkandidaten Folgendes zurück:

• Support Score:Der Support Score ist eine Zahl zwischen 0 und 1, die angibt, wie fundiert ein Antwortkandidat in den bereitgestellten Fakten ist. Er gibt ungefähr den Anteil der Behauptungen im Antwortkandidaten an, die auf einem oder mehreren der angegebenen Fakten beruhen.

• Zitierte Chunks:Zitierte Chunks sind Teile der Eingabefakten, die den Antwortkandidaten unterstützen.

• Behauptungen und Zitationen:Die Behauptungen und Zitationen verbinden eine Behauptung (in der Regel ein Satz) des Antwortkandidaten mit einem oder mehreren der zitierten Chunks, die die Behauptung untermauern.

  Ein Anspruch wird durch seine Start- und Endpositionen abgegrenzt. Dies sind die Bytepositionen des UTF-8-codierten Anspruchs-Strings. Die Länge wird nicht in Zeichen gemessen. Sie muss daher auf der Benutzeroberfläche gerendert werden. Dabei ist zu berücksichtigen, dass einige Zeichen mehr als ein Byte belegen. Wenn der Anspruchstext beispielsweise Nicht-ASCII-Zeichen enthält, variieren die Start- und Endpositionen, wenn sie in Zeichen (programmiersprachenabhängig) und in Byte (programmiersprachenunabhängig) gemessen werden.

• Support-Punktzahl auf Behauptungsebene:Wenn die Punktzahl auf Behauptungsebene aktiviert ist, wird mit jeder Behauptung eine Support-Punktzahl als Zahl zwischen 0 und 1 zurückgegeben, die angibt, wie gut die Behauptung durch die bereitgestellten Fakten untermauert wird. Weitere Informationen finden Sie unter Behauptungsebene für Antwortkandidaten abrufen.

• Fundierungsprüfung erforderlich: Bei jedem Anspruch wird ein boolescher Wert für die Fundierungsprüfung zurückgegeben. Wenn False zurückgegeben wird, bedeutet das, dass das System der Ansicht ist, dass die Behauptung keine Fundierung erfordert. Daher werden keine Zitationen und Antizitationen zurückgegeben. Ein Satz wie „Das habe ich gefunden“ ist beispielsweise kein Fakt an sich und erfordert daher keinen Abgleich.

  Wenn die Fundierungsprüfung als true zurückgegeben wird, bedeutet das, dass eine Fundierungsprüfung durchgeführt wurde und Support-Ergebnisse, Zitate und Antizitate (falls vorhanden) zurückgegeben werden.

Support-Bewertung für einen Antwortkandidaten abrufen

So prüfen Sie, wie fundiert ein Antwortvorschlag in einer Reihe von Fakten ist:

1. Bereiten Sie Ihre Fakten vor. Weitere Informationen und Beispiele finden Sie unter Begriffe definiert und erklärt.

2. Rufen Sie die Methode check mit dem folgenden Code auf:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
-d '{
  "answerCandidate": "CANDIDATE",
  "facts": [
  {
    "factText": "TEXT_0",
    "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
  },
  {
    "factText": "TEXT_1",
    "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
  },
  {
    "factText": "TEXT_2",
    "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
  }
  ],
  "groundingSpec": {
    "citationThreshold": "CITATION_THRESHOLD"
  }
}'

from google.cloud import discoveryengine_v1 as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"

client = discoveryengine.GroundedGenerationServiceClient()

# The full resource name of the grounding config.
# Format: projects/{project_id}/locations/{location}/groundingConfigs/default_grounding_config
grounding_config = client.grounding_config_path(
    project=project_id,
    location="global",
    grounding_config="default_grounding_config",
)

request = discoveryengine.CheckGroundingRequest(
    grounding_config=grounding_config,
    answer_candidate="Titanic was directed by James Cameron. It was released in 1997.",
    facts=[
        discoveryengine.GroundingFact(
            fact_text=(
                "Titanic is a 1997 American epic romantic disaster movie. It was directed, written,"
                " and co-produced by James Cameron. The movie is about the 1912 sinking of the"
                " RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released"
                " on December 19, 1997. It received positive critical reviews. The movie won 11 Academy"
                " Awards, and was nominated for fourteen total Academy Awards."
            ),
            attributes={"author": "Simple Wikipedia"},
        ),
        discoveryengine.GroundingFact(
            fact_text=(
                'James Cameron\'s "Titanic" is an epic, action-packed romance'
                "set against the ill-fated maiden voyage of the R.M.S. Titanic;"
                "the pride and joy of the White Star Line and, at the time,"
                "the largest moving object ever built. "
                'She was the most luxurious liner of her era -- the "ship of dreams" -- '
                "which ultimately carried over 1,500 people to their death in the "
                "ice cold waters of the North Atlantic in the early hours of April 15, 1912."
            ),
            attributes={"author": "Simple Wikipedia"},
        ),
    ],
    grounding_spec=discoveryengine.CheckGroundingSpec(citation_threshold=0.6),
)

response = client.check_grounding(request=request)

# Handle the response
print(response)

Beispiele für Fakten

Hier sind einige Beispiele für Fakten und ihre Attribute. Diese Beispiele sollen Ihnen helfen, die Fundierungsantwort und das Format des curl-Befehls zu verstehen.

• Fakt 0

  • Text: "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards."

  • Attribute: {"Author": "Simple Wikipedia"}

• Fakt 1

  • Text: "James Cameron's "Titanic" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the "ship of dreams" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912."

  • Attribute: {"Author": "Rotten Tomatoes"}

Beispielanfrage

Nachdem Sie die Fakten vorbereitet haben, können Sie die folgende Anfrage senden und das Feld CANDIDATE durch verschiedene Strings ersetzen, deren Fundierung Sie prüfen möchten.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6"
    }
    }'

Beispiele für Antwortkandidaten und fundierte Antworten

Die folgende Tabelle enthält Beispiele für verschiedene Antwortkandidaten und Antworten, wenn Sie die Beispielanfrage basierend auf den Beispieldaten senden.

Bewertungen auf Behauptungsebene für einen Antwortkandidaten abrufen

Zusätzlich zum Support-Score auf Antwortebene können Sie für jede Behauptung in einem Antwortkandidaten einen Support-Score auf Behauptungsebene abrufen.

So rufen Sie die Werte auf Anspruchsebene ab:

1. Bereiten Sie Ihre Fakten vor. Weitere Informationen und Beispiele finden Sie unter Begriffe definiert und erklärt.

2. Rufen Sie die Methode check mit dem folgenden curl-Befehl auf:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
   -d '{
   "answerCandidate": "CANDIDATE",
   "facts": [
    {
     "factText": "TEXT_0",
     "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
    },
    {
     "factText": "TEXT_1",
     "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
    },
    {
     "factText": "TEXT_2",
     "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
    },
   ],
   "groundingSpec": {
     "citationThreshold": "CITATION_THRESHOLD",
     "enableClaimLevelScore": "ENABLE_CLAIM_LEVEL_SCORE",
   }
   }'
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID ist die Projektnummer oder ‑ID IhresGoogle Cloud -Projekts.

   • CANDIDATE: Der Antwortkandidatenstring, für den Sie eine Support-Bewertung abrufen möchten, z. B. Titanic was directed by James Cameron. It was released in 1997.. Ein Antwortkandidat kann eine maximale Länge von 4.096 Tokens haben. Ein Token wird als Wort in einem Satz oder als Punkt (ein Satzzeichen, das zum Beenden des Satzes verwendet wird) definiert. Der Satz „Sie trugen 2024 Konfektionskleidung.“ besteht beispielsweise aus sieben Tokens, darunter sechs Wörter und ein Punkt.

   • TEXT: das Textsegment, das für die Fundierung verwendet werden soll, z. B. Titanic is a 1997 American epic... Academy Awards. (den vollständigen Text finden Sie unter Beispiele für Fakten).

   • ATTRIBUTE: der Name eines Metadatenattributs, das mit der Fakteninformation verknüpft ist, z. B. author oder title. Es ist ein benutzerdefiniertes Label, mit dem dem Faktentext weitere Informationen hinzugefügt werden können. Wenn der Faktentext Toronto is the capital of Ontario beispielsweise ein Attribut author mit dem Wert Wikipedia hat, sind die folgenden Behauptungen fundiert:

     • Wikipedia cites that Toronto is the capital of Ontario
     • Toronto is the capital of Ontario

     Die Behauptung, dass Government of Ontario claims that Toronto is the capital of Ontario, ist jedoch nicht so gut fundiert.

   • VALUE: Der Wert für das Attribut, z. B. Simple Wikipedia oder Titanic (1997 film).

   • CITATION_THRESHOLD: Ein Gleitkommawert zwischen 0 und 1, der bestimmt, ob für eine Behauptung im Antwortvorschlag eine Quelle angegeben werden muss. Ein höherer Schwellenwert führt zu weniger, aber stärkeren Quellenangaben zur Untermauerung der Behauptung, ein niedrigerer Schwellenwert zu mehr, aber schwächeren Quellenangaben. Wenn nicht festgelegt, beträgt der Standard-Schwellenwert 0,6.

   • ENABLE_CLAIM_LEVEL_SCORE: Ein boolescher Wert. Setzen Sie dieses Feld auf true, um die Funktion für den Score auf Anspruchsebene zu aktivieren. Wenn Sie diese Funktion deaktivieren möchten, entfernen Sie dieses Feld oder legen Sie es auf false fest.

Beispielanfrage

Mit den Beispielfakten aus dem vorherigen Abschnitt können Sie die folgende Anfrage senden. Ersetzen Sie das Feld CANDIDATE durch verschiedene Strings, deren Fundierung pro Anspruch Sie prüfen möchten.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6",
      "enableClaimLevelScore": true,
    }
    }'

Beispiel für Antworten mit Ergebnissen auf Anspruchsebene

In der folgenden Tabelle sehen Sie ein Beispiel für einen Antwortkandidaten und seine Antwort, wenn Sie die Beispielanfrage auf Grundlage der Beispieldaten senden.

Widerspruchsbewertung für einen Antwortkandidaten abrufen

Neben der Support-Punktzahl können Sie auch eine Widerspruchs-Punktzahl abrufen. Der Widerspruchswert gibt ungefähr den Anteil der Behauptungen an, die den bereitgestellten Fakten widersprechen.

Wenn Sie diese experimentelle Funktion ausprobieren möchten, wenden Sie sich an Ihr Google-Account-Management-Team und bitten Sie darum, auf die Zulassungsliste gesetzt zu werden.

Widerspruchsbewertung abrufen

So erhalten Sie den Widerspruchs-Score:

1. Bereiten Sie Ihre Fakten vor. Weitere Informationen und Beispiele finden Sie unter Begriffe definiert und erklärt.

2. Rufen Sie die Methode check mit dem folgenden curl-Befehl auf:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
   -d '{
   "answerCandidate": "CANDIDATE",
   "facts": [
    {
     "factText": "TEXT_0",
     "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
    },
    {
     "factText": "TEXT_1",
     "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
    },
    {
     "factText": "TEXT_2",
     "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
    },
   ],
   "groundingSpec": {
     "citationThreshold": "CITATION_THRESHOLD",
     "enableAntiCitations": "ENABLE_ANTI_CITATION",
     "antiCitationThreshold": "ANTI_CITATION_THRESHOLD",
   }
   }'
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID ist die Projektnummer oder ‑ID IhresGoogle Cloud -Projekts.

   • CANDIDATE: Der Antwortkandidatenstring, für den Sie eine Support-Bewertung abrufen möchten, z. B. Titanic was directed by James Cameron. It was released in 1997.. Ein Antwortkandidat kann eine maximale Länge von 4.096 Tokens haben. Ein Token wird als Wort in einem Satz oder als Punkt (ein Satzzeichen, das zum Beenden des Satzes verwendet wird) definiert. Der Satz „Sie trugen 2024 Konfektionskleidung.“ besteht beispielsweise aus sieben Tokens, darunter sechs Wörter und ein Punkt.

   • TEXT: das Textsegment, das für die Fundierung verwendet werden soll, z. B. Titanic is a 1997 American epic... Academy Awards. (den vollständigen Text finden Sie unter Beispiele für Fakten).

   • ATTRIBUTE: der Name eines Metadatenattributs, das mit der Fakteninformation verknüpft ist, z. B. author oder title. Es ist ein benutzerdefiniertes Label, mit dem dem Faktentext weitere Informationen hinzugefügt werden können. Wenn der Faktentext Toronto is the capital of Ontario beispielsweise ein Attribut author mit dem Wert Wikipedia hat, sind die folgenden Behauptungen fundiert:

     • Wikipedia cites that Toronto is the capital of Ontario
     • Toronto is the capital of Ontario

     Die Behauptung, dass Government of Ontario claims that Toronto is the capital of Ontario, ist jedoch nicht so gut fundiert.

   • VALUE: Der Wert für das Attribut, z. B. Simple Wikipedia oder Titanic (1997 film).

   • CITATION_THRESHOLD: Ein Gleitkommawert zwischen 0 und 1, der bestimmt, ob für eine Behauptung im Antwortvorschlag eine Quelle angegeben werden muss. Ein höherer Schwellenwert führt zu weniger, aber aussagekräftigen Quellenangaben zur Untermauerung der Behauptung, ein niedrigerer Schwellenwert zu mehr, aber schwächeren Quellenangaben. Wenn nicht festgelegt, beträgt der Standard-Schwellenwert 0,6.

   • ENABLE_ANTI_CITATION: Ein boolescher Wert. Legen Sie für dieses Feld true fest, um das experimentelle Feature zur Bewertung des Widerspruchs-Scores zu aktivieren. Entfernen Sie dieses Feld oder legen Sie es auf false fest, um diese Funktion zu deaktivieren.

   • ANTI_CITATION_THRESHOLD: Ein Gleitkommawert zwischen 0 und 1, der bestimmt, ob eine Tatsache als Widerspruch zu einer Behauptung im Antwortvorschlag zitiert werden muss. Ein höherer Schwellenwert führt zu weniger, aber stärkeren Quellenangaben, die der Behauptung widersprechen, und ein niedrigerer Schwellenwert führt zu mehr, aber schwächeren Quellenangaben, die der Behauptung widersprechen. Wenn nicht festgelegt, beträgt der Standard-Schwellenwert 0,8.

Beispielanfrage

Mit den Beispielfakten aus dem vorherigen Abschnitt können Sie die folgende Anfrage senden. Ersetzen Sie das Feld CANDIDATE durch verschiedene Strings, deren Fundierung und Widersprüche Sie prüfen möchten.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6",
      "enableAntiCitations": true,
      "antiCitationThreshold": "0.8",
    }
    }'

Beispiel für Antworten mit Widersprüchen

In der folgenden Tabelle sehen Sie ein Beispiel für einen Antwortkandidaten und seine Antwort, wenn Sie die Beispielanfrage auf Grundlage der Beispieldaten senden.

Nützlichkeitsbewertung für einen Antwortkandidaten abrufen

Wenn Sie diese experimentelle Funktion ausprobieren möchten, wenden Sie sich an Ihr Google-Account-Management-Team und bitten Sie darum, auf die Zulassungsliste gesetzt zu werden.

Zusätzlich zur Unterstützungspunktzahl und zur Widerspruchspunktzahl kann die Check Grounding API eine Hilfreichkeitspunktzahl liefern. Eine hilfreiche Antwort erfüllt die Anfrage des Nutzers (wie im Prompt angegeben) auf informative Weise. Der Wert für die Nützlichkeit gibt an, wie gut die Antwort folgende Kriterien erfüllt:

• Es wird auf die Kernabsicht des Prompts eingegangen.
• Vollständige Details, aber prägnant
• Beantwortet die im Prompt gestellte Frage direkt oder erledigt die darin angeforderte Aufgabe
• Relevante Informationen anbieten
• Klar und unkompliziert
• Unnötige Details und Fachjargon werden vermieden

Wenn Sie neben der Fundierungspunktzahl auch eine Nützlichkeitsbewertung erhalten möchten, müssen Sie einen Prompt zusammen mit den Antwortkandidaten und Fakten angeben. Die API „check grounding“ vergleicht den Antwortkandidaten mit dem Prompt und gibt eine Punktzahl zurück, die angibt, wie hilfreich der Antwortkandidat auf den Prompt eingeht. Der Wert liegt im Bereich [0,1]. Je höher der Wert, desto hilfreicher die Antwort.

Bewertung der Nützlichkeit erhalten

So rufen Sie den Nützlichkeitswert ab:

1. Bereiten Sie Ihren Prompt und die Antwortkandidaten vor.

2. Rufen Sie die Methode check mit dem folgenden curl-Befehl auf:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
   -d '{
   "answerCandidate": "CANDIDATE",
   "facts": [
   {
     "factText": "TEXT_0",
     "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
   },
   {
     "factText": "TEXT_1",
     "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
   },
   {
     "factText": "TEXT_2",
     "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
   }
   ],
   "groundingSpec": {
     "enableHelpfulnessScore": true
   },
   "prompt": "PROMPT",
   }'
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID ist die Projektnummer oder ‑ID IhresGoogle Cloud -Projekts.

   • CANDIDATE: Der Antwortkandidatenstring, für den Sie eine Nützlichkeitsbewertung abrufen möchten, z. B. Titanic was directed by James Cameron. It was released in 1997.. Ein Antwortkandidat kann eine maximale Länge von 4.096 Tokens haben.

   • TEXT: das Textsegment, das für die Fundierung verwendet werden soll, z. B. Titanic is a 1997 American epic... Academy Awards. (den vollständigen Text finden Sie unter Beispiele für Fakten).

   • ATTRIBUTE: der Name eines Metadatenattributs, das mit der Fakteninformation verknüpft ist, z. B. author oder title. Es ist ein benutzerdefiniertes Label, mit dem dem Faktentext weitere Informationen hinzugefügt werden können. Wenn der Faktentext Toronto is the capital of Ontario beispielsweise ein Attribut author mit dem Wert Wikipedia hat, sind die folgenden Behauptungen fundiert:

     • Wikipedia cites that Toronto is the capital of Ontario
     • Toronto is the capital of Ontario

     Die Behauptung, dass Government of Ontario claims that Toronto is the capital of Ontario, ist jedoch nicht so gut fundiert.

   • VALUE: Der Wert für das Attribut, z. B. Simple Wikipedia oder Titanic (1997 film).

   • PROMPT: Der Prompt ist die Anfrage, auf die der Antwortkandidat generiert wurde, z. B. Who directed and starred in the movie Titanic?.

Beispielanfrage

Mit den Beispielfakten aus dem vorherigen Abschnitt können Sie die folgende Anfrage senden. Ersetzen Sie das Feld CANDIDATE durch verschiedene Antwortkandidaten, um eine Hilfreichkeitsbewertung für die Antwort zu erhalten.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "enableHelpfulnessScore": true
    },
    "prompt": "Who directed and starred in the movie Titanic?"
    }'

Beispiel für Antworten mit Nützlichkeitswerten

Die folgende Tabelle enthält Beispiele für Antwortkandidaten mit ihren Nützlichkeitsbewertungen. In jedem Fall lautet der Prompt Who directed and starred in the Titanic?.

Fundierung mit einem Datenspeicher prüfen

Standardmäßig wird die Fundierung anhand einer Reihe von Fakten geprüft, die inline im API-Aufruf „Grounding prüfen“ angegeben werden. Als Alternative zur Inline-Bereitstellung der Fakten können Sie den Antwortkandidaten jedoch mit allen Fakten in einem Vertex AI Search-Datenspeicher abgleichen.

Wenn Sie die API zum Überprüfen der Fundierung aufrufen, geben Sie den Namen einer Vertex AI Search-Anwendung an. Die unstrukturierten Datenspeicher, die mit dieser Suchanwendung verknüpft sind, enthalten die Fakten, die zum Überprüfen der Fundierung des Antwortvorschlags verwendet werden.

Wenn Sie diese experimentelle Funktion ausprobieren möchten, wenden Sie sich an Ihr Google-Account-Management-Team und bitten Sie darum, auf die Zulassungsliste gesetzt zu werden.

So prüfen Sie die Fundierung anhand eines Datenspeichers:

1. Suchen Sie nach einer benutzerdefinierten Such-App, die mit mindestens einem Datenspeicher mit unstrukturierten Daten verknüpft ist. Die Dokumente in diesem Datenspeicher dienen als Quelle für Ihre Fundierungsfakten.

   Informationen zum Erstellen eines Datenspeichers und einer Suchanwendung finden Sie unter Suchdatenspeicher erstellen und Suchanwendung erstellen.

2. Suchen Sie Ihre App-ID. Wenn Sie Ihre App-ID bereits haben, fahren Sie mit dem nächsten Schritt fort.

   1. Rufen Sie in der Google Cloud Console die Seite KI-Anwendungen auf.

      Zu Apps wechseln

   2. Suchen Sie auf der Seite Apps nach dem Namen Ihrer App und entnehmen Sie die App-ID der Spalte ID.

3. Rufen Sie die Methode check mit dem folgenden curl-Befehl auf:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
   -d '{
       "answerCandidate": "CANDIDATE",
       "groundingSource": {
         "searchSource": {
           "servingConfig": "projects/SOURCE_PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
         }
       }
   }'
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID ist die Projektnummer oder ‑ID IhresGoogle Cloud -Projekts.

   • SOURCE_PROJECT_ID: die Projektnummer oder ‑ID des Projekts, das die App für die Fundierung enthält.

     Dieses Quellprojekt muss sich in derselben Region wie Ihr Projekt befinden, z. B. beide global oder beide eu. Allgemeine Informationen zu Multiregionen finden Sie unter Standort.

   • CANDIDATE: Der Antwortkandidatenstring, für den Sie eine Support-Bewertung abrufen möchten, z. B. Titanic was directed by James Cameron. It was released in 1997.. Ein Antwortkandidat kann eine maximale Länge von 4.096 Tokens haben. Ein Token wird als Wort in einem Satz oder als Punkt (ein Satzzeichen, das zum Beenden des Satzes verwendet wird) definiert. Der Satz „Sie trugen 2024 Konfektionskleidung.“ besteht beispielsweise aus sieben Tokens, darunter sechs Wörter und ein Punkt.

   • APP_ID: Die ID der Vertex AI Search-App, deren unstrukturierte Datenspeicher die Fakten enthalten, die Sie als Fundierungsquelle verwenden möchten.

   Beispielbefehl und -ergebnis

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/groundingConfigs/default_grounding_config:check" \
   -d '{
       "answerCandidate": "Titanic was directed by James Cameron. It was released in 1997.",
       "groundingSource": {
         "searchSource": {
           "servingConfig": "projects/my-project-123/locations/global/collections/default_collection/engines/my-app/servingConfigs/default_search"
         }
       }
   }'
   
   {
   "supportScore": 0.9884292,
   "claims": [
   {
     "startPos": 0,
     "endPos": 63,
     "claimText": "Titanic was directed by James Cameron. It was released in 1997.",
     "citationIndices": [
       0,
       1
     ],
     "groundingCheckRequired": true
   }
   ],
   "citedFacts": [
   {
     "chunkText": "James Cameron\'s \"Titanic\" is more than just a movie; it\'s a cinematic experience.  Released in 1997, the film masterfully intertwines a fictional love story with the historical tragedy of the RMS Titanic. Leonardo DiCaprio and Kate Winslet deliver captivating performances as Jack and Rose, two young lovers from different worlds who find each other amidst the grandeur of the doomed ship.",
     "sourceInfo": {
       "searchSource": {
         "documentId": "projects/123456/locations/global/collections/default_collection/dataStores/my-app/branches/0/documents/movie_reviews.pdf",
         "documentTitle": "movie_reviews",
         "documentLink": "gs://my-bucket-123/pdf/movie_reviews.pdf"
       }
     }
   },
   {
     "chunkText": "James Cameron\'s epic romance and disaster film \"Titanic,\" released in 1997, captured the hearts of audiences worldwide.  The film tells the fictional love story of Jack and Rose, two young people from different social classes who meet aboard the ill-fated RMS Titanic.  Cameron\'s masterful storytelling, combined with groundbreaking visual effects, brought the historical tragedy to life on the big screen, resulting in a cinematic phenomenon that resonated with viewers of all ages.",
     "sourceInfo": {
       "searchSource": {
         "documentId": "projects/123456/locations/global/collections/default_collection/dataStores/my-app/branches/0/documents/popular_films",
         "documentTitle": "popular_films",
         "documentLink": "gs://my-bucket-123/pdf/popular_films.pdf"
       }
     }
   }
   ]
   }
   

   Die Ausgabefelder unterscheiden sich davon, wenn die Fundierungsquelle als Fakten inline angegeben wird. Wenn ein Datenspeicher für die Fundierung verwendet wird, werden die zitierten Fakten anhand von Dokument-ID, Titel und Link aus dem Datenspeicher identifiziert. Zitierte Fakten aus einem Datenspeicher können nicht anhand des Faktenindex identifiziert werden.