Mejora los resultados de la búsqueda con el ajuste de la búsqueda

Un modelo de búsqueda ajustado puede brindarte resultados de mejor calidad que el modelo de búsqueda base.

El ajuste de la búsqueda es especialmente valioso si tienes consultas específicas de la industria o la empresa que los LLMs generales no responden tan bien. Se puede usar para entrenar aún más el modelo de búsqueda.

Limitaciones

El ajuste de la búsqueda solo se puede aplicar a los almacenes de datos no estructurados.

Acerca de los datos de entrenamiento

Para ajustar un modelo de búsqueda, primero debes recopilar datos de entrenamiento.

Los datos de entrenamiento deben contener las preguntas que esperas que hagan tus usuarios finales y fragmentos de texto de entre 250 y 500 palabras que contengan la información pertinente necesaria para responder las preguntas. Una búsqueda puede asociarse con varios fragmentos, siempre y cuando cada uno contenga información que responda a la búsqueda.

Los datos de entrenamiento también deben contener fragmentos de texto que no estén vinculados con búsquedas, pero que sean similares a las respuestas en cuanto a estilo y longitud. Estos resúmenes sin búsquedas asociadas proporcionan negativos aleatorios para ajustar el modelo. Google recomienda que proporciones al menos 10,000 de estos fragmentos.

A continuación, se incluye terminología para describir los datos de entrenamiento que deberás proporcionar:

• Preguntas de entrenamiento: Son las preguntas que anticipas que harán tus usuarios finales. Asegúrate de enfocarte en las búsquedas con terminología específica de la empresa o el dominio.

  Proporciona al menos 100.

• Segmentos extractivos: Los fragmentos (por lo general, varios párrafos) deben tomarse textualmente de los documentos del almacén de datos. Todos los documentos juntos en el almacén de datos se conocen como "el corpus".

  Debes proporcionar dos tipos de segmentos extractivos:

  • Son segmentos que contienen información pertinente necesaria para responder las búsquedas de entrenamiento. Son los segmentos que tienen coincidencias positivas con las búsquedas.

  • Son los segmentos que no están asociados con ninguna búsqueda de entrenamiento. Estos segmentos se usan como negativos aleatorios en el ajuste del modelo.

  Una o dos oraciones no son lo suficientemente largas como para ser un segmento extractivo. El segmento debe contener suficiente contexto para el entrenamiento. Por ejemplo, en respuesta a una búsqueda como "¿Quién fundó Google?", un extracto corto como "Larry Page" es insuficiente. Para ver ejemplos de segmentos lo suficientemente largos, consulta la siguiente tabla.

  Proporciona al menos un segmento extractivo por búsqueda y al menos 10,000 segmentos extractivos adicionales.

• Puntuaciones de relevancia: Las puntuaciones de relevancia son números enteros no negativos que estiman qué tan relevante es el segmento extractivo para la búsqueda. Proporcionas un valor de puntuación para cada par de consulta y segmento extractivo. Una puntuación de 0 significa que el segmento extractivo no es relevante para la búsqueda. Una puntuación mayor que cero indica cierta relevancia. Para una puntuación simple, Google recomienda asignar un 1 a todos los segmentos pertinentes y un 0 a los que no lo son. Como alternativa, si deseas clasificar la relevancia, puedes asignar puntuaciones de relevancia de 0 a 10 (por ejemplo), con 10 para los segmentos más relevantes y 0 para los segmentos que no son relevantes en absoluto.

  Proporciona al menos 100 puntuaciones pertinentes y, de forma opcional, puntuaciones adicionales no pertinentes.

Ejemplos de pares de consultas y segmentos extractivos

En la siguiente tabla, se proporcionan algunos ejemplos de pares de consultas y segmentos extractivos. Estos ejemplos generales se tomaron de Wikipedia. Sin embargo, para realizar un ajuste útil, te recomendamos que proporciones documentos de conjuntos de datos propios que contengan información específica de tu empresa y que no se encuentren fácilmente en la Web.

El último par de esta tabla es un ejemplo de un par con una puntuación de cero, en el que la respuesta no es pertinente para la búsqueda.

Acerca de las pruebas

Después del entrenamiento, se prueba la búsqueda ajustada para determinar si el ajuste mejoró los resultados. Puedes proporcionar de forma explícita las búsquedas que deseas probar. Si no proporcionas búsquedas de prueba, Vertex AI Search usará el 20% de las búsquedas de entrenamiento como búsquedas de prueba.

Archivos de entrenamiento

Los datos de entrenamiento deben subirse en tres (o cuatro, de forma opcional) archivos específicos:

• Un archivo de corpus que contiene los segmentos extractivos

• Un archivo de consulta que solo contiene las búsquedas

• Un archivo de etiquetas de entrenamiento que conecta las búsquedas con los segmentos y contiene las puntuaciones de relevancia

• Opcional: Un archivo de etiquetas de prueba similar a los archivos de etiquetas de entrenamiento, pero que se usa para evaluar el modelo ajustado en lugar de entrenarlo

Los tres archivos de entrenamiento (archivo de corpus, archivo de consulta y archivo de etiquetas de entrenamiento) y el archivo de etiquetas de prueba (opcional) deben estar en Cloud Storage. Las rutas de acceso de los archivos se definen mediante campos en la llamada a trainCustomMethod.

Archivo de corpus

El archivo de corpus contiene segmentos extractivos, es decir, segmentos que contienen información para responder las preguntas del archivo de preguntas y muchos segmentos adicionales que se usarán como negativos aleatorios cuando se ajuste el modelo. Debes tener al menos 100 segmentos que contengan respuestas a las preguntas. Las preguntas pueden responderse con varios segmentos. También debes tener al menos 10,000 segmentos aleatorios.

Si los documentos de tu almacén de datos contienen menos de 500 palabras, puedes usar documentos completos como segmentos. De lo contrario, crea de forma programática segmentos aleatorios de entre 250 y 500 palabras a partir de los documentos de tu almacén de datos y agrégalos al archivo de corpus.

El archivo de corpus es un archivo JSONL (líneas JSON) en el que cada línea tiene los campos _id y text con valores de cadena. Por ejemplo:

  {"_id": "doc1", "text": "Google was founded on September 4, 1998, by American computer scientists Larry Page and Sergey Brin while they were PhD students at Stanford University in California. Together they own about 14% of its publicly listed shares and control 56% of its stockholder voting power through super-voting stock. The company went public via an initial public offering (IPO) in 2004. In 2015, Google was reorganized as a wholly owned subsidiary of Alphabet Inc. Google is Alphabet's largest subsidiary and is a holding company for Alphabet's internet properties and interests. Sundar Pichai was appointed CEO of Google on October 24, 2015, replacing Larry Page, who became the CEO of Alphabet. On December 3, 2019, Pichai also became the CEO of Alphabet. [...] On the list of most valuable brands, Google is 105 ranked second by Forbes and fourth by Interbrand."}
  {"_id": "doc2", "text": "Oxygenated blood leaves the lungs through pulmonary veins, which return it to the left part of the heart, completing the pulmonary cycle. This blood then enters the left atrium, which pumps it through the mitral valve into the left ventricle. From the left ventricle, the blood passes through the aortic valve to the aorta. The blood is then distributed to the body through the systemic circulation before returning again to the pulmonary circulation. Arteries Main article: Pulmonary artery From the right ventricle, blood is pumped through the semilunar pulmonary valve into the left and right main pulmonary artery (one for each lung), which branch into smaller pulmonary arteries that spread throughout the lungs. [...] Cardiac shunt is an unnatural connection between parts of the heart that leads to blood flow that bypasses the lungs."}
  {"_id": "doc3", "text": "The World Bowling Writers ( WBW ) International Bowling Hall of Fame was established in 1993 and is located in the International Bowling Museum and Hall of Fame , on the International Bowling Campus in Arlington , Texas. History The International Bowling Museum and Hall of Fame was located at 11 Stadium Plaza, St. Louis, Missouri, USA, and shared the same building with the St. Louis Cardinals Hall of Fame Museum, until November 8, 2008. It moved to Arlington and reopened in early 2010. In 2012, the WBW was merged with the International Bowling Media Association. After the merger, the WBW Hall of Fame inductees became part of the IBMA Luby Hall of Fame.  officers of the World Bowling Writers, which formed the Hall's Board.][...] The man and woman who receive the most votes are elected."}
  {"_id": "doc4", "text": "A \"Hello, World!\" program is generally a simple computer program which outputs (or displays) to the screen (often the console) a message similar to "Hello, World!" while ignoring any user input. A small piece of code in most general-purpose programming languages, this program is used to illustrate a language's basic syntax. A "Hello, World!" program is often the first written by a student of a new programming language, but such a program can also be used as a check to ensure that the computer software intended to compile or run source code is correctly installed, and that its operator understands how to use it.  [...] The C-language version was preceded by Kernighan's own 1972 A Tutorial Introduction to the Language B, where the first known version of the program is found in an example used to illustrate external variables."}

El tamaño máximo del archivo es de 500,000 líneas.

Archivo de consulta

El archivo de consulta contiene las consultas de ejemplo que se usarán para ajustar el modelo. Cada búsqueda debe tener uno o más segmentos extractivos correspondientes en el archivo del corpus. Debes proporcionar al menos 100 búsquedas de coincidencias positivas. También puedes proporcionar búsquedas no pertinentes, es decir, búsquedas que corresponden a segmentos extractivos con una puntuación de relevancia de cero.

El archivo de consulta está en formato JSONL y tiene los mismos campos que el archivo de corpus.

Por ejemplo:

  {"_id": "query1", "text": "who founded Google?"}
  {"_id": "query2", "text": "where is blood pumped after it leaves the right ventricle?"}
  {"_id": "query3", "text": "where is the bowling hall of fame located?"}
  {"_id": "query4", "text": "why is the sky blue?"}

La cantidad máxima de búsquedas permitidas en el archivo es de 40,000.

Etiquetas de entrenamiento

El archivo de etiquetas de entrenamiento conecta las búsquedas con los segmentos extractivos y califica cada par de búsqueda y segmento.

Si el archivo de etiquetas de prueba no está presente, se reservará el 20% de las búsquedas del archivo de etiquetas de entrenamiento para evaluar el modelo ajustado después del entrenamiento.

El archivo contiene el ID de una búsqueda y el ID de su segmento extractivo coincidente (o no coincidente), así como una puntuación de la relevancia del segmento para la búsqueda. Debe haber al menos una línea por búsqueda. Si una búsqueda se responde con dos segmentos, habrá dos líneas para esa búsqueda. Score es un valor de número entero no negativo. Cualquier puntuación mayor que cero indica que el documento está relacionado con la búsqueda. Los números más grandes indican un nivel de relevancia mayor. Si se omite la puntuación, el valor predeterminado es 1.

El archivo de etiquetas de entrenamiento es un archivo TSV (valores separados por tabulaciones) con un encabezado. El archivo debe tener las columnas query-id, corpus-id y score. query-id es una cadena que coincide con la clave _id del archivo de consulta, y corpus-id es una cadena que coincide con _id en el archivo de corpus.

Por ejemplo:

query-id    corpus-id   score
query1  doc1    1
query2  doc2    1
query3  doc3    1
query3  doc9    1
query4  doc4    0

El archivo de etiquetas de entrenamiento debe incluir al menos 100 IDs de búsqueda únicos. La cantidad de IDs de consulta en el archivo de etiquetas de entrenamiento combinada con la cantidad de consultas en el archivo de etiquetas de prueba debe ser inferior a 500,000.

Etiquetas de prueba

Al igual que el archivo de etiquetas de entrenamiento, este archivo opcional contiene los IDs de la consulta y el segmento extractivo, y las puntuaciones de relevancia. Contiene menos búsquedas y diferentes que en el archivo de etiquetas de entrenamiento. Si están presentes, los pares de consultas y segmentos extractivos del archivo se usan para evaluar el ajuste. Si el archivo de etiquetas de prueba no está presente, se usan los pares de consultas y segmentos extractivos del archivo de etiquetas de entrenamiento para la evaluación.

Este archivo tiene el mismo formato que el archivo de etiquetas de entrenamiento.

Por ejemplo:

query-id    corpus-id   score
query200    doc200  1
query201    doc201  1
query202    doc202  1

Si bien el archivo de etiquetas de prueba es opcional, si lo proporcionas, debe contener al menos tres IDs de consulta únicos.

Antes de comenzar

Activa Funciones de la edición Enterprise para la app.

Ajusta la búsqueda

Para ajustar un modelo de búsqueda con tus propios datos de entrenamiento, sigue estos pasos.

from google.api_core.client_options import ClientOptions
from google.api_core.operation import Operation
from google.cloud import discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION" # Values: "global"
# data_store_id = "YOUR_DATA_STORE_ID"
# corpus_data_path = "gs://my-bucket/corpus.jsonl"
# query_data_path = "gs://my-bucket/query.jsonl"
# train_data_path = "gs://my-bucket/train.tsv"
# test_data_path = "gs://my-bucket/test.tsv"


def train_custom_model_sample(
    project_id: str,
    location: str,
    data_store_id: str,
    corpus_data_path: str,
    query_data_path: str,
    train_data_path: str,
    test_data_path: str,
) -> Operation:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )
    # Create a client
    client = discoveryengine.SearchTuningServiceClient(client_options=client_options)

    # The full resource name of the data store
    data_store = f"projects/{project_id}/locations/{location}/collections/default_collection/dataStores/{data_store_id}"

    # Make the request
    operation = client.train_custom_model(
        request=discoveryengine.TrainCustomModelRequest(
            gcs_training_input=discoveryengine.TrainCustomModelRequest.GcsTrainingInput(
                corpus_data_path=corpus_data_path,
                query_data_path=query_data_path,
                train_data_path=train_data_path,
                test_data_path=test_data_path,
            ),
            data_store=data_store,
            model_type="search-tuning",
        )
    )

    # Optional: Wait for training to complete
    # print(f"Waiting for operation to complete: {operation.operation.name}")
    # response = operation.result()

    # After the operation is complete,
    # get information from operation metadata
    # metadata = discoveryengine.TrainCustomModelMetadata(operation.metadata)

    # Handle the response
    # print(response)
    # print(metadata)
    print(operation)

    return operation

Probar la búsqueda optimizada y usarla para búsquedas individuales

Una vez que se complete el ajuste, puedes probarlo comparando los resultados de las consultas con el modelo ajustado y los resultados de las mismas consultas con el modelo base.

from google.api_core.client_options import ClientOptions
from google.cloud import discoveryengine_v1 as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION"          # Values: "global", "us", "eu"
# engine_id = "YOUR_APP_ID"
# search_query = "YOUR_SEARCH_QUERY"


def search_sample(
    project_id: str,
    location: str,
    engine_id: str,
    search_query: str,
) -> discoveryengine.services.search_service.pagers.SearchPager:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )

    # Create a client
    client = discoveryengine.SearchServiceClient(client_options=client_options)

    # The full resource name of the search app serving config
    serving_config = f"projects/{project_id}/locations/{location}/collections/default_collection/engines/{engine_id}/servingConfigs/default_config"

    # Optional - only supported for unstructured data: Configuration options for search.
    # Refer to the `ContentSearchSpec` reference for all supported fields:
    # https://cloud.google.com/python/docs/reference/discoveryengine/latest/google.cloud.discoveryengine_v1.types.SearchRequest.ContentSearchSpec
    content_search_spec = discoveryengine.SearchRequest.ContentSearchSpec(
        # For information about snippets, refer to:
        # https://cloud.google.com/generative-ai-app-builder/docs/snippets
        snippet_spec=discoveryengine.SearchRequest.ContentSearchSpec.SnippetSpec(
            return_snippet=True
        ),
        # For information about search summaries, refer to:
        # https://cloud.google.com/generative-ai-app-builder/docs/get-search-summaries
        summary_spec=discoveryengine.SearchRequest.ContentSearchSpec.SummarySpec(
            summary_result_count=5,
            include_citations=True,
            ignore_adversarial_query=True,
            ignore_non_summary_seeking_query=True,
            model_prompt_spec=discoveryengine.SearchRequest.ContentSearchSpec.SummarySpec.ModelPromptSpec(
                preamble="YOUR_CUSTOM_PROMPT"
            ),
            model_spec=discoveryengine.SearchRequest.ContentSearchSpec.SummarySpec.ModelSpec(
                version="stable",
            ),
        ),
    )

    # Refer to the `SearchRequest` reference for all supported fields:
    # https://cloud.google.com/python/docs/reference/discoveryengine/latest/google.cloud.discoveryengine_v1.types.SearchRequest
    request = discoveryengine.SearchRequest(
        serving_config=serving_config,
        query=search_query,
        page_size=10,
        content_search_spec=content_search_spec,
        query_expansion_spec=discoveryengine.SearchRequest.QueryExpansionSpec(
            condition=discoveryengine.SearchRequest.QueryExpansionSpec.Condition.AUTO,
        ),
        spell_correction_spec=discoveryengine.SearchRequest.SpellCorrectionSpec(
            mode=discoveryengine.SearchRequest.SpellCorrectionSpec.Mode.AUTO
        ),
        # Optional: Use fine-tuned model for this request
        # custom_fine_tuning_spec=discoveryengine.CustomFineTuningSpec(
        #     enable_search_adaptor=True
        # ),
    )

    page_result = client.search(request)

    # Handle the response
    for response in page_result:
        print(response)

    return page_result

Cómo activar la búsqueda optimizada

Después de probar la búsqueda ajustada y decidir que quieres usarla para todas las búsquedas, puedes establecerla como el modelo de búsqueda predeterminado.

from google.api_core.client_options import ClientOptions
from google.cloud import discoveryengine_v1alpha as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION" # Values: "global"
# engine_id = "YOUR_DATA_STORE_ID"


def update_serving_config_sample(
    project_id: str,
    location: str,
    engine_id: str,
) -> discoveryengine.ServingConfig:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )
    # Create a client
    client = discoveryengine.ServingConfigServiceClient(client_options=client_options)

    # The full resource name of the serving config
    serving_config_name = f"projects/{project_id}/locations/{location}/collections/default_collection/engines/{engine_id}/servingConfigs/default_search"

    update_mask = "customFineTuningSpec.enableSearchAdaptor"

    serving_config = client.update_serving_config(
        request=discoveryengine.UpdateServingConfigRequest(
            serving_config=discoveryengine.ServingConfig(
                name=serving_config_name,
                custom_fine_tuning_spec=discoveryengine.CustomFineTuningSpec(
                    enable_search_adaptor=True  # Switch to `False` to disable tuned model
                ),
            ),
            update_mask=update_mask,
        )
    )

    # Handle the response
    print(serving_config)

    return serving_config

Cómo desactivar la búsqueda optimizada

Si ya no quieres usar la versión optimizada de la búsqueda (por ejemplo, si los resultados no son mejores o son peores que antes de la optimización), puedes inhabilitar la búsqueda optimizada.

from google.api_core.client_options import ClientOptions
from google.cloud import discoveryengine_v1alpha as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION" # Values: "global"
# engine_id = "YOUR_DATA_STORE_ID"


def update_serving_config_sample(
    project_id: str,
    location: str,
    engine_id: str,
) -> discoveryengine.ServingConfig:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )
    # Create a client
    client = discoveryengine.ServingConfigServiceClient(client_options=client_options)

    # The full resource name of the serving config
    serving_config_name = f"projects/{project_id}/locations/{location}/collections/default_collection/engines/{engine_id}/servingConfigs/default_search"

    update_mask = "customFineTuningSpec.enableSearchAdaptor"

    serving_config = client.update_serving_config(
        request=discoveryengine.UpdateServingConfigRequest(
            serving_config=discoveryengine.ServingConfig(
                name=serving_config_name,
                custom_fine_tuning_spec=discoveryengine.CustomFineTuningSpec(
                    enable_search_adaptor=True  # Switch to `False` to disable tuned model
                ),
            ),
            update_mask=update_mask,
        )
    )

    # Handle the response
    print(serving_config)

    return serving_config

¿Qué sigue?

• Para comprender el impacto del ajuste de la búsqueda en la calidad de la búsqueda, evalúa la calidad de la búsqueda. Para obtener más información, consulta Cómo evaluar la calidad de la búsqueda.