Mejora los resultados de la búsqueda con el ajuste de la búsqueda

Un modelo de búsqueda ajustado puede brindarte resultados de mejor calidad que el modelo de búsqueda base.

El ajuste de búsqueda es particularmente valioso si tienes búsquedas específicas de la industria o la empresa que los LLM generales abordan menos bien. Se puede usar para entrenar aún más el modelo de búsqueda.

Limitaciones

El ajuste de la Búsqueda solo se puede aplicar a los almacenes de datos no estructurados.

Información acerca de los datos de entrenamiento

Para ajustar un modelo de búsqueda, primero debes recopilar datos de entrenamiento.

Los datos de entrenamiento deben contener consultas que esperas que hagan tus usuarios finales y fragmentos de texto de entre 250 y 500 palabras que contengan información relevante para responder las consultas. Una consulta se puede asociar con varios fragmentos, siempre que cada fragmento contenga información que responda a la consulta.

Los datos de entrenamiento también deben contener fragmentos de texto que no estén vinculados con las consultas, pero que sean similares a las respuestas en cuanto a estilo y longitud. Estos fragmentos sin consultas asociadas proporcionan negativos aleatorios para ajustar el modelo. Google recomienda que proporciones al menos 10,000 de estos fragmentos.

A continuación, se incluye la terminología para describir los datos de entrenamiento que deberás proporcionar:

• Consultas de entrenamiento: Son las consultas que crees que tus usuarios finales harán. Asegúrate de enfocarte en las consultas con terminología específica del dominio o la empresa.

  Proporciona al menos 100.

• Segmentos extractivos: Los fragmentos (por lo general, varios párrafos) deben tomarse textualmente de los documentos del almacén de datos. Todos los documentos juntos en el almacén de datos se denominan “corpus”.

  Debes proporcionar dos tipos de segmentos extractivos:

  • Segmentos que contienen información relevante necesaria para responder las consultas de entrenamiento. Estos son segmentos que tienen coincidencias positivas con las consultas.

  • Son segmentos que no están asociados con ninguna consulta de entrenamiento. Estos segmentos se usan como negativos aleatorios en el ajuste del modelo.

  Una o dos oraciones no son lo suficientemente largas como para ser un segmento extractivo. El segmento debe contener suficiente contexto para el entrenamiento. Por ejemplo, en respuesta a una consulta como "quién fundó Google", un extracto breve como "Larry Page" no es suficiente. Para ver ejemplos de segmentos lo suficientemente largos, consulta la siguiente tabla de ejemplos.

  Proporciona al menos un segmento extractivo por consulta y al menos 10,000 segmentos extractivos adicionales.

• Puntuaciones de relevancia: Las puntuaciones de relevancia son números enteros no negativos que estiman cuán relevante es el segmento extractivo para la consulta. Proporcionas un valor de puntuación para cada par de consulta y segmento extractivo. Una puntuación de 0 significa que el segmento extractivo no es relevante para la búsqueda. Una puntuación superior a cero indica cierta relevancia. Para la puntuación simple, Google recomienda asignar 1 a todos los segmentos relevantes y 0 a los no relevantes. Como alternativa, si quieres clasificar la relevancia, puedes asignar puntuaciones de relevancia de 0 a 10 (por ejemplo), con 10 para los segmentos más relevantes y 0 para los segmentos que no son relevantes en absoluto.

  Proporciona al menos 100 puntuaciones relevantes y, de forma opcional, puntuaciones no relevantes adicionales.

Ejemplos de pares de segmentos de consulta y extractivos

En la siguiente tabla, se proporcionan algunos ejemplos de pares de segmentos de consulta y extracción. Estos ejemplos generales se tomaron de Wikipedia. Sin embargo, para realizar una optimización útil, te recomendamos que proporciones documentos de conjuntos de datos propietarios que contengan información específica de tu empresa y que no se encuentren con facilidad en la Web.

El último par de esta tabla es un ejemplo de un par con puntuación cero, en el que la respuesta no es relevante para la consulta.

Información acerca de las pruebas

Después del entrenamiento, se prueba la búsqueda ajustada para determinar si el ajuste mejoró los resultados. Puedes proporcionar de forma explícita las consultas que deseas probar. Si no proporcionas consultas de prueba, Vertex AI Search usa el 20% de las consultas de entrenamiento como consultas de prueba.

Archivos de entrenamiento

Los datos de entrenamiento deben subirse en tres (opcionalmente cuatro) archivos específicos:

• Un archivo de corpus que contiene los segmentos extractivos

• Un archivo de consulta que solo contiene las consultas

• Un archivo de etiquetas de entrenamiento que conecta las búsquedas con los segmentos y contiene las puntuaciones de relevancia

• Opcional: Un archivo de etiquetas de prueba que es similar a los archivos de etiquetas de entrenamiento, pero que se usa para evaluar el modelo ajustado en lugar de entrenarlo

Los tres archivos de entrenamiento (archivo de corpus, archivo de consulta y archivo de etiquetas de entrenamiento) y el archivo de etiquetas de prueba (opcional) deben estar en Cloud Storage. Las rutas de acceso de los archivos se definen mediante campos en la llamada a trainCustomMethod.

Archivo del corpus

El archivo del corpus contiene segmentos extractivos: segmentos que contienen información para responder las consultas del archivo de consulta y muchos segmentos adicionales que se usarán como negativos aleatorios cuando se ajuste el modelo. Debes tener al menos 100 segmentos que contengan respuestas a las consultas. Las consultas se pueden responder con varios segmentos. También debes tener al menos 10,000 segmentos aleatorios.

Si los documentos de tu almacén de datos contienen menos de 500 palabras, puedes usar documentos completos como segmentos. De lo contrario, crea segmentos aleatorios de 250 a 500 palabras de los documentos en tu almacén de datos y agrégalos al archivo del corpus.

El archivo del corpus es un archivo JSONL (líneas JSON) en el que cada línea tiene los campos _id y text con valores de cadena. Por ejemplo:

  {"_id": "doc1", "text": "Google was founded on September 4, 1998, by American computer scientists Larry Page and Sergey Brin while they were PhD students at Stanford University in California. Together they own about 14% of its publicly listed shares and control 56% of its stockholder voting power through super-voting stock. The company went public via an initial public offering (IPO) in 2004. In 2015, Google was reorganized as a wholly owned subsidiary of Alphabet Inc. Google is Alphabet's largest subsidiary and is a holding company for Alphabet's internet properties and interests. Sundar Pichai was appointed CEO of Google on October 24, 2015, replacing Larry Page, who became the CEO of Alphabet. On December 3, 2019, Pichai also became the CEO of Alphabet. [...] On the list of most valuable brands, Google is 105 ranked second by Forbes and fourth by Interbrand."}
  {"_id": "doc2", "text": "Oxygenated blood leaves the lungs through pulmonary veins, which return it to the left part of the heart, completing the pulmonary cycle. This blood then enters the left atrium, which pumps it through the mitral valve into the left ventricle. From the left ventricle, the blood passes through the aortic valve to the aorta. The blood is then distributed to the body through the systemic circulation before returning again to the pulmonary circulation. Arteries Main article: Pulmonary artery From the right ventricle, blood is pumped through the semilunar pulmonary valve into the left and right main pulmonary artery (one for each lung), which branch into smaller pulmonary arteries that spread throughout the lungs. [...] Cardiac shunt is an unnatural connection between parts of the heart that leads to blood flow that bypasses the lungs."}
  {"_id": "doc3", "text": "The World Bowling Writers ( WBW ) International Bowling Hall of Fame was established in 1993 and is located in the International Bowling Museum and Hall of Fame , on the International Bowling Campus in Arlington , Texas. History The International Bowling Museum and Hall of Fame was located at 11 Stadium Plaza, St. Louis, Missouri, USA, and shared the same building with the St. Louis Cardinals Hall of Fame Museum, until November 8, 2008. It moved to Arlington and reopened in early 2010. In 2012, the WBW was merged with the International Bowling Media Association. After the merger, the WBW Hall of Fame inductees became part of the IBMA Luby Hall of Fame.  officers of the World Bowling Writers, which formed the Hall's Board.][...] The man and woman who receive the most votes are elected."}
  {"_id": "doc4", "text": "A \"Hello, World!\" program is generally a simple computer program which outputs (or displays) to the screen (often the console) a message similar to "Hello, World!" while ignoring any user input. A small piece of code in most general-purpose programming languages, this program is used to illustrate a language's basic syntax. A "Hello, World!" program is often the first written by a student of a new programming language, but such a program can also be used as a check to ensure that the computer software intended to compile or run source code is correctly installed, and that its operator understands how to use it.  [...] The C-language version was preceded by Kernighan's own 1972 A Tutorial Introduction to the Language B, where the first known version of the program is found in an example used to illustrate external variables."}

El tamaño máximo del archivo es de 500,000 líneas.

Archivo de consulta

El archivo de consulta contiene las consultas de ejemplo que se usarán para ajustar el modelo. Cada consulta debe tener uno o más segmentos extractivos correspondientes en el archivo del corpus. Debes proporcionar al menos 100 consultas de concordancia positiva. También puedes proporcionar consultas no relevantes, que son aquellas que corresponden a segmentos extractivos con una puntuación de relevancia de cero.

El archivo de consulta está en formato JSONL y tiene los mismos campos que el archivo de corpus.

Por ejemplo:

  {"_id": "query1", "text": "who founded Google?"}
  {"_id": "query2", "text": "where is blood pumped after it leaves the right ventricle?"}
  {"_id": "query3", "text": "where is the bowling hall of fame located?"}
  {"_id": "query4", "text": "why is the sky blue?"}

La cantidad máxima de consultas permitidas en el archivo es de 40,000.

Etiquetas de entrenamiento

El archivo de etiquetas de entrenamiento conecta las consultas con los segmentos extractivos y asigna una puntuación a cada par de consulta y segmento.

Si no está presente el archivo de etiquetas de prueba, el 20% de las consultas en el archivo de etiquetas de entrenamiento se reservan para evaluar el modelo ajustado después del entrenamiento.

El archivo contiene el ID de una consulta y el ID de su segmento extractivo coincidente (o no coincidente) y una puntuación para la relevancia del segmento para la consulta. Debe haber al menos una línea por consulta. Si una consulta se responde con dos segmentos, entonces hay dos líneas para esa consulta. Score es un valor de número entero no negativo. Cualquier puntuación mayor que cero indica que el documento está relacionado con la consulta. Los números más grandes indican un nivel de relevancia mayor. Si se omite la puntuación, el valor predeterminado es 1.

El archivo de etiquetas de entrenamiento es un archivo TSV (valores separados por tabulaciones) con un encabezado. El archivo debe tener las columnas query-id, corpus-id y score. query-id es una cadena que coincide con la clave _id del archivo de consulta, y corpus-id es una cadena que coincide con _id en el archivo de corpus.

Por ejemplo:

query-id    corpus-id   score
query1  doc1    1
query2  doc2    1
query3  doc3    1
query3  doc9    1
query4  doc4    0

El archivo de etiquetas de entrenamiento debe incluir al menos 100 IDs de consulta únicos. La cantidad de IDs de consulta en el archivo de etiquetas de entrenamiento combinada con la cantidad de consultas en el archivo de etiquetas de prueba debe ser inferior a 500,000.

Etiquetas de prueba

Al igual que el archivo de etiquetas de entrenamiento, este archivo opcional contiene los IDs de la consulta y el segmento extractivo, así como las puntuaciones de relevancia. Contiene menos consultas y diferentes que en el archivo de etiquetas de entrenamiento. Si están presentes, los pares de segmentos de consulta y extracción en el archivo se usan para evaluar el ajuste. Si no está presente el archivo de etiquetas de prueba, se usan los pares de segmentos de consulta y extracción del archivo de etiquetas de entrenamiento para la evaluación.

Este archivo tiene el mismo formato que el archivo de etiquetas de entrenamiento.

Por ejemplo:

query-id    corpus-id   score
query200    doc200  1
query201    doc201  1
query202    doc202  1

Aunque el archivo de etiquetas de prueba es opcional, si lo proporcionas, debe contener al menos tres IDs de consulta únicos.

Antes de comenzar

Activa las funciones de la edición Enterprise para la app.

Cómo ajustar la búsqueda

Para ajustar un modelo de búsqueda con tus propios datos de entrenamiento, sigue estos pasos.

from google.api_core.client_options import ClientOptions
from google.api_core.operation import Operation
from google.cloud import discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION" # Values: "global"
# data_store_id = "YOUR_DATA_STORE_ID"
# corpus_data_path = "gs://my-bucket/corpus.jsonl"
# query_data_path = "gs://my-bucket/query.jsonl"
# train_data_path = "gs://my-bucket/train.tsv"
# test_data_path = "gs://my-bucket/test.tsv"


def train_custom_model_sample(
    project_id: str,
    location: str,
    data_store_id: str,
    corpus_data_path: str,
    query_data_path: str,
    train_data_path: str,
    test_data_path: str,
) -> Operation:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )
    # Create a client
    client = discoveryengine.SearchTuningServiceClient(client_options=client_options)

    # The full resource name of the data store
    data_store = f"projects/{project_id}/locations/{location}/collections/default_collection/dataStores/{data_store_id}"

    # Make the request
    operation = client.train_custom_model(
        request=discoveryengine.TrainCustomModelRequest(
            gcs_training_input=discoveryengine.TrainCustomModelRequest.GcsTrainingInput(
                corpus_data_path=corpus_data_path,
                query_data_path=query_data_path,
                train_data_path=train_data_path,
                test_data_path=test_data_path,
            ),
            data_store=data_store,
            model_type="search-tuning",
        )
    )

    # Optional: Wait for training to complete
    # print(f"Waiting for operation to complete: {operation.operation.name}")
    # response = operation.result()

    # After the operation is complete,
    # get information from operation metadata
    # metadata = discoveryengine.TrainCustomModelMetadata(operation.metadata)

    # Handle the response
    # print(response)
    # print(metadata)
    print(operation)

    return operation

Prueba la búsqueda optimizada y úsala para búsquedas individuales

Una vez que se complete el ajuste, puedes probarlo comparando los resultados de las consultas con el modelo ajustado y los resultados de las mismas consultas con el modelo de base.

from google.api_core.client_options import ClientOptions
from google.cloud import discoveryengine_v1 as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION"          # Values: "global", "us", "eu"
# engine_id = "YOUR_APP_ID"
# search_query = "YOUR_SEARCH_QUERY"


def search_sample(
    project_id: str,
    location: str,
    engine_id: str,
    search_query: str,
) -> discoveryengine.services.search_service.pagers.SearchPager:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )

    # Create a client
    client = discoveryengine.SearchServiceClient(client_options=client_options)

    # The full resource name of the search app serving config
    serving_config = f"projects/{project_id}/locations/{location}/collections/default_collection/engines/{engine_id}/servingConfigs/default_config"

    # Optional - only supported for unstructured data: Configuration options for search.
    # Refer to the `ContentSearchSpec` reference for all supported fields:
    # https://cloud.google.com/python/docs/reference/discoveryengine/latest/google.cloud.discoveryengine_v1.types.SearchRequest.ContentSearchSpec
    content_search_spec = discoveryengine.SearchRequest.ContentSearchSpec(
        # For information about snippets, refer to:
        # https://cloud.google.com/generative-ai-app-builder/docs/snippets
        snippet_spec=discoveryengine.SearchRequest.ContentSearchSpec.SnippetSpec(
            return_snippet=True
        ),
        # For information about search summaries, refer to:
        # https://cloud.google.com/generative-ai-app-builder/docs/get-search-summaries
        summary_spec=discoveryengine.SearchRequest.ContentSearchSpec.SummarySpec(
            summary_result_count=5,
            include_citations=True,
            ignore_adversarial_query=True,
            ignore_non_summary_seeking_query=True,
            model_prompt_spec=discoveryengine.SearchRequest.ContentSearchSpec.SummarySpec.ModelPromptSpec(
                preamble="YOUR_CUSTOM_PROMPT"
            ),
            model_spec=discoveryengine.SearchRequest.ContentSearchSpec.SummarySpec.ModelSpec(
                version="stable",
            ),
        ),
    )

    # Refer to the `SearchRequest` reference for all supported fields:
    # https://cloud.google.com/python/docs/reference/discoveryengine/latest/google.cloud.discoveryengine_v1.types.SearchRequest
    request = discoveryengine.SearchRequest(
        serving_config=serving_config,
        query=search_query,
        page_size=10,
        content_search_spec=content_search_spec,
        query_expansion_spec=discoveryengine.SearchRequest.QueryExpansionSpec(
            condition=discoveryengine.SearchRequest.QueryExpansionSpec.Condition.AUTO,
        ),
        spell_correction_spec=discoveryengine.SearchRequest.SpellCorrectionSpec(
            mode=discoveryengine.SearchRequest.SpellCorrectionSpec.Mode.AUTO
        ),
        # Optional: Use fine-tuned model for this request
        # custom_fine_tuning_spec=discoveryengine.CustomFineTuningSpec(
        #     enable_search_adaptor=True
        # ),
    )

    page_result = client.search(request)

    # Handle the response
    for response in page_result:
        print(response)

    return page_result

Cómo activar la búsqueda optimizada

Después de probar la búsqueda optimizada y decidir que quieres usarla para todas las búsquedas, puedes establecerla como el modelo de búsqueda predeterminado.

from google.api_core.client_options import ClientOptions
from google.cloud import discoveryengine_v1alpha as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION" # Values: "global"
# engine_id = "YOUR_DATA_STORE_ID"


def update_serving_config_sample(
    project_id: str,
    location: str,
    engine_id: str,
) -> discoveryengine.ServingConfig:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )
    # Create a client
    client = discoveryengine.ServingConfigServiceClient(client_options=client_options)

    # The full resource name of the serving config
    serving_config_name = f"projects/{project_id}/locations/{location}/collections/default_collection/engines/{engine_id}/servingConfigs/default_search"

    update_mask = "customFineTuningSpec.enableSearchAdaptor"

    serving_config = client.update_serving_config(
        request=discoveryengine.UpdateServingConfigRequest(
            serving_config=discoveryengine.ServingConfig(
                name=serving_config_name,
                custom_fine_tuning_spec=discoveryengine.CustomFineTuningSpec(
                    enable_search_adaptor=True  # Switch to `False` to disable tuned model
                ),
            ),
            update_mask=update_mask,
        )
    )

    # Handle the response
    print(serving_config)

    return serving_config

Cómo desactivar la búsqueda optimizada

Si ya no deseas usar la versión optimizada de la búsqueda (por ejemplo, si los resultados no son mejores o peores que antes de la optimización), puedes inhabilitar la búsqueda optimizada.

from google.api_core.client_options import ClientOptions
from google.cloud import discoveryengine_v1alpha as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION" # Values: "global"
# engine_id = "YOUR_DATA_STORE_ID"


def update_serving_config_sample(
    project_id: str,
    location: str,
    engine_id: str,
) -> discoveryengine.ServingConfig:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )
    # Create a client
    client = discoveryengine.ServingConfigServiceClient(client_options=client_options)

    # The full resource name of the serving config
    serving_config_name = f"projects/{project_id}/locations/{location}/collections/default_collection/engines/{engine_id}/servingConfigs/default_search"

    update_mask = "customFineTuningSpec.enableSearchAdaptor"

    serving_config = client.update_serving_config(
        request=discoveryengine.UpdateServingConfigRequest(
            serving_config=discoveryengine.ServingConfig(
                name=serving_config_name,
                custom_fine_tuning_spec=discoveryengine.CustomFineTuningSpec(
                    enable_search_adaptor=True  # Switch to `False` to disable tuned model
                ),
            ),
            update_mask=update_mask,
        )
    )

    # Handle the response
    print(serving_config)

    return serving_config

¿Qué sigue?

• Para comprender el impacto del ajuste de la búsqueda en la calidad de la búsqueda, evalúala. Para obtener más información, consulta Evalúa la calidad de la búsqueda.