Suchergebnisse mit der Suchabstimmung verbessern

Mit einem abgestimmten Suchmodell können Sie Ergebnisse von besserer Qualität erzielen als mit dem Basissuchmodell.

Die Abstimmung der Suche ist vor allem nützlich bei branchen- oder unternehmensspezifischen Anfragen, die von allgemeinen LLMs weniger gut beantwortet werden. Sie kann verwendet werden, um das Suchmodell weiter zu trainieren.

Beschränkungen

Die Suchoptimierung kann nur auf unstrukturierte Datenspeicher angewendet werden.

Trainingsdaten

Zum Abstimmen eines Suchmodells müssen Sie zuerst Trainingsdaten zusammenstellen.

Die Trainingsdaten sollten Abfragen enthalten, die Ihre Endnutzer voraussichtlich stellen werden, sowie Textausschnitte mit einer Länge von 250 bis 500 Wörtern, die relevante Informationen enthalten, die zur Beantwortung der Abfragen erforderlich sind. Eine Anfrage kann mehreren Snippets zugeordnet werden, sofern jedes Snippet Informationen enthält, die die Anfrage beantworten.

Die Trainingsdaten sollten auch Textausschnitte enthalten, die nicht mit Anfragen verknüpft sind, aber in Stil und Länge den Antworten ähneln. Diese Snippets ohne zugehörige Anfragen liefern zufällige Negativbeispiele zum Optimieren des Modells. Google empfiehlt,mindestens 10.000 dieser Snippets bereitzustellen.

Hier finden Sie einige Begriffe zur Beschreibung der Trainingsdaten, die Sie bereitstellen müssen:

• Trainingsanfragen:Anfragen, die Ihre Endnutzer voraussichtlich stellen werden. Konzentrieren Sie sich auf Anfragen mit spezifischer Domain- oder Unternehmensterminologie.

  Geben Sie mindestens 100 ein.

• Extrahierte Segmente:Ausschnitte (in der Regel mehrere Absätze) müssen wörtlich aus den Dokumenten im Datenspeicher übernommen werden. Alle Dokumente im Datenspeicher werden zusammen als „Korpus“ bezeichnet.

  Sie müssen zwei Arten von extraktiven Segmenten angeben:

  • Segmente, die relevante Informationen enthalten, die zum Beantworten der Trainingsanfragen erforderlich sind. Das sind Segmente, die positiv mit Anfragen übereinstimmen.

  • Segmente, die nicht mit Trainingsanfragen verknüpft sind. Diese Segmente werden beim Abstimmen des Modells als zufällige Negativbeispiele verwendet.

  Ein oder zwei Sätze sind nicht lang genug für ein extraktives Segment. Das Segment muss genügend Kontext für das Training enthalten. Wenn beispielsweise die Frage „Wer hat Google gegründet?“ gestellt wird, ist ein kurzer Auszug wie „Larry Page“ nicht ausreichend. Beispiele für ausreichend lange Segmente finden Sie in der folgenden Tabelle.

  Geben Sie mindestens ein extraktives Segment pro Anfrage und mindestens 10.000 zusätzliche extraktive Segmente an.

• Relevanzbewertungen:Relevanzbewertungen sind nicht negative Ganzzahlen, die schätzen, wie relevant das extraktive Segment für die Anfrage ist. Sie geben für jedes Paar aus Anfrage und extrahiertem Segment einen Punktwert an. Ein Wert von 0 bedeutet, dass das extraktive Segment überhaupt nicht relevant für die Anfrage ist. Ein Wert größer als null weist auf eine gewisse Relevanz hin. Für eine einfache Bewertung empfiehlt Google, für alle relevanten Segmente 1 und für nicht relevante Segmente 0 zu verwenden. Wenn Sie die Relevanz einstufen möchten, können Sie Relevanzwerte von 0 bis 10 zuweisen, wobei 10 für die relevantesten Segmente und 0 für Segmente steht, die überhaupt nicht relevant sind.

  Geben Sie mindestens 100 relevante Werte und optional zusätzliche nicht relevante Werte an.

Beispiele für Abfrage- und Extraktionssegmentpaare

In der folgenden Tabelle finden Sie einige Beispiele für Paare aus Anfrage und extrahiertem Segment. Diese allgemeinen Beispiele stammen aus Wikipedia. Für ein sinnvolles Fine-Tuning sollten Sie jedoch Dokumente aus proprietären Datasets bereitstellen, die Informationen enthalten, die für Ihr Unternehmen spezifisch sind und weniger leicht im Web zu finden sind.

Das letzte Paar in dieser Tabelle ist ein Beispiel für ein Paar mit dem Wert 0, bei dem die Antwort nicht relevant für die Anfrage ist.

Tests

Nach dem Training wird die optimierte Suche getestet, um festzustellen, ob sich die Ergebnisse durch die Optimierung verbessert haben. Sie können die Abfragen, die getestet werden sollen, explizit angeben. Wenn Sie keine Testanfragen angeben, verwendet Vertex AI Search 20% der Trainingsanfragen als Testanfragen.

Trainingsdateien

Die Trainingsdaten müssen in drei (optional vier) bestimmten Dateien hochgeladen werden:

• Eine Korpusdatei mit den extraktiven Segmenten

• Eine Abfragedatei, die nur die Abfragen enthält

• Eine Datei mit Trainingslabels, in der Abfragen mit Segmenten verknüpft sind und die Relevanzwerte enthält

• Optional: Eine Datei mit Testlabels, die den Dateien mit Trainingslabels ähnelt, aber zum Bewerten des optimierten Modells anstelle des Trainings verwendet wird

Die drei Trainingsdateien (Korpusdatei, Abfragedatei und Datei mit Trainingslabels) und die optionale Datei mit Testlabels müssen sich in Cloud Storage befinden. Die Pfade der Dateien werden durch Felder im trainCustomMethod-Aufruf definiert.

Korpusdatei

Die Korpusdatei enthält extraktive Segmente: Segmente, die Informationen zur Beantwortung der Anfragen in der Anfragedatei enthalten, und viele zusätzliche Segmente, die beim Optimieren des Modells als zufällige Negativbeispiele verwendet werden. Sie sollten mindestens 100 Segmente mit Antworten auf Anfragen haben. Anfragen können von mehreren Segmenten beantwortet werden. Sie sollten auch mindestens 10.000 zufällige Segmente haben.

Wenn die Dokumente in Ihrem Datenspeicher weniger als 500 Wörter enthalten, können Sie ganze Dokumente als Segmente verwenden. Andernfalls erstellen Sie programmatisch zufällige Segmente mit 250 bis 500 Wörtern aus den Dokumenten in Ihrem Datenspeicher und fügen Sie sie der Korpusdatei hinzu.

Die Korpusdatei ist eine JSONL-Datei (JSON Lines), in der jede Zeile die Felder _id und text mit Stringwerten enthält. Beispiel:

  {"_id": "doc1", "text": "Google was founded on September 4, 1998, by American computer scientists Larry Page and Sergey Brin while they were PhD students at Stanford University in California. Together they own about 14% of its publicly listed shares and control 56% of its stockholder voting power through super-voting stock. The company went public via an initial public offering (IPO) in 2004. In 2015, Google was reorganized as a wholly owned subsidiary of Alphabet Inc. Google is Alphabet's largest subsidiary and is a holding company for Alphabet's internet properties and interests. Sundar Pichai was appointed CEO of Google on October 24, 2015, replacing Larry Page, who became the CEO of Alphabet. On December 3, 2019, Pichai also became the CEO of Alphabet. [...] On the list of most valuable brands, Google is 105 ranked second by Forbes and fourth by Interbrand."}
  {"_id": "doc2", "text": "Oxygenated blood leaves the lungs through pulmonary veins, which return it to the left part of the heart, completing the pulmonary cycle. This blood then enters the left atrium, which pumps it through the mitral valve into the left ventricle. From the left ventricle, the blood passes through the aortic valve to the aorta. The blood is then distributed to the body through the systemic circulation before returning again to the pulmonary circulation. Arteries Main article: Pulmonary artery From the right ventricle, blood is pumped through the semilunar pulmonary valve into the left and right main pulmonary artery (one for each lung), which branch into smaller pulmonary arteries that spread throughout the lungs. [...] Cardiac shunt is an unnatural connection between parts of the heart that leads to blood flow that bypasses the lungs."}
  {"_id": "doc3", "text": "The World Bowling Writers ( WBW ) International Bowling Hall of Fame was established in 1993 and is located in the International Bowling Museum and Hall of Fame , on the International Bowling Campus in Arlington , Texas. History The International Bowling Museum and Hall of Fame was located at 11 Stadium Plaza, St. Louis, Missouri, USA, and shared the same building with the St. Louis Cardinals Hall of Fame Museum, until November 8, 2008. It moved to Arlington and reopened in early 2010. In 2012, the WBW was merged with the International Bowling Media Association. After the merger, the WBW Hall of Fame inductees became part of the IBMA Luby Hall of Fame.  officers of the World Bowling Writers, which formed the Hall's Board.][...] The man and woman who receive the most votes are elected."}
  {"_id": "doc4", "text": "A \"Hello, World!\" program is generally a simple computer program which outputs (or displays) to the screen (often the console) a message similar to "Hello, World!" while ignoring any user input. A small piece of code in most general-purpose programming languages, this program is used to illustrate a language's basic syntax. A "Hello, World!" program is often the first written by a student of a new programming language, but such a program can also be used as a check to ensure that the computer software intended to compile or run source code is correctly installed, and that its operator understands how to use it.  [...] The C-language version was preceded by Kernighan's own 1972 A Tutorial Introduction to the Language B, where the first known version of the program is found in an example used to illustrate external variables."}

Die Datei darf maximal 500.000 Zeilen umfassen.

Abfragedatei

Die Abfragedatei enthält die Beispielabfragen, die zum Optimieren des Modells verwendet werden. Jeder Anfrage sollten ein oder mehrere entsprechende extraktive Segmente in der Korpusdatei zugeordnet sein. Sie sollten mindestens 100 Anfragen mit positiver Übereinstimmung angeben. Sie können auch nicht relevante Anfragen angeben. Das sind Anfragen, die extraktiven Segmenten mit einem Relevanzwert von null entsprechen.

Die Abfragedatei hat das JSONL-Format und enthält dieselben Felder wie die Korpusdatei.

Beispiel:

  {"_id": "query1", "text": "who founded Google?"}
  {"_id": "query2", "text": "where is blood pumped after it leaves the right ventricle?"}
  {"_id": "query3", "text": "where is the bowling hall of fame located?"}
  {"_id": "query4", "text": "why is the sky blue?"}

Die maximale Anzahl der zulässigen Anfragen in der Datei beträgt 40.000.

Trainingslabels

In der Datei mit Trainingslabels werden die Anfragen mit den extraktiven Segmenten verknüpft und jedes Anfrage- und Segmentpaar wird bewertet.

Wenn die Datei mit den Testlabels nicht vorhanden ist, werden 20% der Anfragen in der Datei mit den Trainingslabels reserviert, um das optimierte Modell nach dem Training zu bewerten.

Die Datei enthält die ID einer Anfrage und die ID des entsprechenden (oder nicht entsprechenden) extraktiven Segments sowie einen Wert für die Relevanz des Segments für die Anfrage. Pro Abfrage muss mindestens eine Zeile vorhanden sein. Wenn eine Abfrage durch zwei Segmente beantwortet wird, gibt es zwei Zeilen für diese Abfrage. Score ist ein nicht negativer Ganzzahlwert. Jeder Wert über null bedeutet, dass das Dokument mit der Anfrage in Verbindung steht. Je höher die Zahl, desto relevanter ist das Ergebnis. Wenn der Wert weggelassen wird, ist der Standardwert 1.

Die Datei mit den Trainingslabels ist eine TSV-Datei (tabulatorgetrennte Werte) mit einer Kopfzeile. Die Datei muss die Spalten query-id, corpus-id und score enthalten. query-id ist ein String, der mit dem _id-Schlüssel aus der Abfragedatei übereinstimmt, und corpus-id ist ein String, der mit dem _id in der Korpusdatei übereinstimmt.

Beispiel:

query-id    corpus-id   score
query1  doc1    1
query2  doc2    1
query3  doc3    1
query3  doc9    1
query4  doc4    0

Die Datei mit den Trainingslabels muss mindestens 100 eindeutige Abfrage-IDs enthalten. Die Anzahl der Abfrage-IDs in der Datei mit Trainingslabels in Kombination mit der Anzahl der Abfragen in der Datei mit Testlabels muss kleiner als 500.000 sein.

Test labels

Wie die Datei mit den Trainingslabels enthält diese optionale Datei die IDs der Abfrage und des extraktiven Segments sowie Relevanzwerte. Sie enthält weniger und andere Anfragen als die Datei mit den Trainingslabels. Falls vorhanden, werden die Paare aus Anfragen und extraktiven Segmenten in der Datei verwendet, um das Tuning zu bewerten. Wenn die Datei mit den Testlabels nicht vorhanden ist, werden Abfrage- und extraktive Segmentpaare aus der Datei mit den Trainingslabels für die Bewertung verwendet.

Diese Datei hat dasselbe Format wie die Datei mit den Trainingslabels.

Beispiel:

query-id    corpus-id   score
query200    doc200  1
query201    doc201  1
query202    doc202  1

Die Datei mit Testlabels ist zwar optional, muss aber mindestens drei eindeutige Abfrage-IDs enthalten, wenn Sie sie bereitstellen.

Hinweise

Aktivieren Sie die Features der Enterprise-Version für die App.

Suche abstimmen

So stimmen Sie ein Suchmodell mit Ihren eigenen Trainingsdaten ab:

from google.api_core.client_options import ClientOptions
from google.api_core.operation import Operation
from google.cloud import discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION" # Values: "global"
# data_store_id = "YOUR_DATA_STORE_ID"
# corpus_data_path = "gs://my-bucket/corpus.jsonl"
# query_data_path = "gs://my-bucket/query.jsonl"
# train_data_path = "gs://my-bucket/train.tsv"
# test_data_path = "gs://my-bucket/test.tsv"


def train_custom_model_sample(
    project_id: str,
    location: str,
    data_store_id: str,
    corpus_data_path: str,
    query_data_path: str,
    train_data_path: str,
    test_data_path: str,
) -> Operation:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )
    # Create a client
    client = discoveryengine.SearchTuningServiceClient(client_options=client_options)

    # The full resource name of the data store
    data_store = f"projects/{project_id}/locations/{location}/collections/default_collection/dataStores/{data_store_id}"

    # Make the request
    operation = client.train_custom_model(
        request=discoveryengine.TrainCustomModelRequest(
            gcs_training_input=discoveryengine.TrainCustomModelRequest.GcsTrainingInput(
                corpus_data_path=corpus_data_path,
                query_data_path=query_data_path,
                train_data_path=train_data_path,
                test_data_path=test_data_path,
            ),
            data_store=data_store,
            model_type="search-tuning",
        )
    )

    # Optional: Wait for training to complete
    # print(f"Waiting for operation to complete: {operation.operation.name}")
    # response = operation.result()

    # After the operation is complete,
    # get information from operation metadata
    # metadata = discoveryengine.TrainCustomModelMetadata(operation.metadata)

    # Handle the response
    # print(response)
    # print(metadata)
    print(operation)

    return operation

Abgestimmte Suche testen und für einzelne Suchanfragen verwenden

Nach Abschluss der Abstimmung können Sie das Modell testen, indem Sie die Ergebnisse von Anfragen mit dem abgestimmten Modell mit den Ergebnissen derselben Anfragen mit dem Basismodell vergleichen.

from google.api_core.client_options import ClientOptions
from google.cloud import discoveryengine_v1 as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION"          # Values: "global", "us", "eu"
# engine_id = "YOUR_APP_ID"
# search_query = "YOUR_SEARCH_QUERY"


def search_sample(
    project_id: str,
    location: str,
    engine_id: str,
    search_query: str,
) -> discoveryengine.services.search_service.pagers.SearchPager:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )

    # Create a client
    client = discoveryengine.SearchServiceClient(client_options=client_options)

    # The full resource name of the search app serving config
    serving_config = f"projects/{project_id}/locations/{location}/collections/default_collection/engines/{engine_id}/servingConfigs/default_config"

    # Optional - only supported for unstructured data: Configuration options for search.
    # Refer to the `ContentSearchSpec` reference for all supported fields:
    # https://cloud.google.com/python/docs/reference/discoveryengine/latest/google.cloud.discoveryengine_v1.types.SearchRequest.ContentSearchSpec
    content_search_spec = discoveryengine.SearchRequest.ContentSearchSpec(
        # For information about snippets, refer to:
        # https://cloud.google.com/generative-ai-app-builder/docs/snippets
        snippet_spec=discoveryengine.SearchRequest.ContentSearchSpec.SnippetSpec(
            return_snippet=True
        ),
        # For information about search summaries, refer to:
        # https://cloud.google.com/generative-ai-app-builder/docs/get-search-summaries
        summary_spec=discoveryengine.SearchRequest.ContentSearchSpec.SummarySpec(
            summary_result_count=5,
            include_citations=True,
            ignore_adversarial_query=True,
            ignore_non_summary_seeking_query=True,
            model_prompt_spec=discoveryengine.SearchRequest.ContentSearchSpec.SummarySpec.ModelPromptSpec(
                preamble="YOUR_CUSTOM_PROMPT"
            ),
            model_spec=discoveryengine.SearchRequest.ContentSearchSpec.SummarySpec.ModelSpec(
                version="stable",
            ),
        ),
    )

    # Refer to the `SearchRequest` reference for all supported fields:
    # https://cloud.google.com/python/docs/reference/discoveryengine/latest/google.cloud.discoveryengine_v1.types.SearchRequest
    request = discoveryengine.SearchRequest(
        serving_config=serving_config,
        query=search_query,
        page_size=10,
        content_search_spec=content_search_spec,
        query_expansion_spec=discoveryengine.SearchRequest.QueryExpansionSpec(
            condition=discoveryengine.SearchRequest.QueryExpansionSpec.Condition.AUTO,
        ),
        spell_correction_spec=discoveryengine.SearchRequest.SpellCorrectionSpec(
            mode=discoveryengine.SearchRequest.SpellCorrectionSpec.Mode.AUTO
        ),
        # Optional: Use fine-tuned model for this request
        # custom_fine_tuning_spec=discoveryengine.CustomFineTuningSpec(
        #     enable_search_adaptor=True
        # ),
    )

    page_result = client.search(request)

    # Handle the response
    for response in page_result:
        print(response)

    return page_result

Abgestimmte Suche aktivieren

Nachdem Sie die optimierte Suche getestet und entschieden haben, dass Sie sie für alle Suchanfragen verwenden möchten, können Sie sie zum Standardsuchmodell machen.

from google.api_core.client_options import ClientOptions
from google.cloud import discoveryengine_v1alpha as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION" # Values: "global"
# engine_id = "YOUR_DATA_STORE_ID"


def update_serving_config_sample(
    project_id: str,
    location: str,
    engine_id: str,
) -> discoveryengine.ServingConfig:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )
    # Create a client
    client = discoveryengine.ServingConfigServiceClient(client_options=client_options)

    # The full resource name of the serving config
    serving_config_name = f"projects/{project_id}/locations/{location}/collections/default_collection/engines/{engine_id}/servingConfigs/default_search"

    update_mask = "customFineTuningSpec.enableSearchAdaptor"

    serving_config = client.update_serving_config(
        request=discoveryengine.UpdateServingConfigRequest(
            serving_config=discoveryengine.ServingConfig(
                name=serving_config_name,
                custom_fine_tuning_spec=discoveryengine.CustomFineTuningSpec(
                    enable_search_adaptor=True  # Switch to `False` to disable tuned model
                ),
            ),
            update_mask=update_mask,
        )
    )

    # Handle the response
    print(serving_config)

    return serving_config

Abgestimmte Suche deaktivieren

Wenn Sie die optimierte Version der Suche nicht mehr verwenden möchten, weil die Ergebnisse beispielsweise nicht besser oder sogar schlechter als vor der Optimierung sind, können Sie die optimierte Suche deaktivieren.

from google.api_core.client_options import ClientOptions
from google.cloud import discoveryengine_v1alpha as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION" # Values: "global"
# engine_id = "YOUR_DATA_STORE_ID"


def update_serving_config_sample(
    project_id: str,
    location: str,
    engine_id: str,
) -> discoveryengine.ServingConfig:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )
    # Create a client
    client = discoveryengine.ServingConfigServiceClient(client_options=client_options)

    # The full resource name of the serving config
    serving_config_name = f"projects/{project_id}/locations/{location}/collections/default_collection/engines/{engine_id}/servingConfigs/default_search"

    update_mask = "customFineTuningSpec.enableSearchAdaptor"

    serving_config = client.update_serving_config(
        request=discoveryengine.UpdateServingConfigRequest(
            serving_config=discoveryengine.ServingConfig(
                name=serving_config_name,
                custom_fine_tuning_spec=discoveryengine.CustomFineTuningSpec(
                    enable_search_adaptor=True  # Switch to `False` to disable tuned model
                ),
            ),
            update_mask=update_mask,
        )
    )

    # Handle the response
    print(serving_config)

    return serving_config

Nächste Schritte

• Um die Auswirkungen der Suchoptimierung auf die Suchqualität zu verstehen, müssen Sie die Suchqualität bewerten. Weitere Informationen finden Sie unter Suchqualität bewerten.