Analizar PDFs en una canalización de generación aumentada por recuperación

En este tutorial se explica cómo crear una canalización de generación aumentada de recuperación (RAG) basada en contenido PDF analizado.

Los archivos PDF, como los documentos financieros, pueden ser difíciles de usar en las cadenas de RAG debido a su estructura compleja y a la combinación de texto, cifras y tablas. En este tutorial se muestra cómo usar las funciones de BigQuery ML junto con Layout Parser de Document AI para crear una canalización de RAG basada en la información clave extraída de un archivo PDF.

También puedes seguir este tutorial con un cuaderno de Colab Enterprise.

Objetivos

En este tutorial se explican las siguientes tareas:

• Crear un segmento de Cloud Storage y subir un archivo PDF de muestra.
• Crear una conexión de recursos de Cloud para poder conectarse a Cloud Storage y Vertex AI desde BigQuery.
• Crear una tabla de objetos a partir del archivo PDF para que esté disponible en BigQuery.
• Crear un procesador de Document AI que puedas usar para analizar el archivo PDF.
• Crear un modelo remoto que te permita usar la API de Document AI para acceder al procesador de documentos desde BigQuery.
• Usar el modelo remoto con la función ML.PROCESS_DOCUMENT para analizar el contenido del PDF en fragmentos y, a continuación, escribir ese contenido en una tabla de BigQuery.
• Extraer contenido de PDF de los datos JSON devueltos por la función ML.PROCESS_DOCUMENT y, a continuación, escribir ese contenido en una tabla de BigQuery.
• Crear un modelo remoto que te permita usar el modelo de text-embedding-004generación de embeddings de Vertex AI desde BigQuery.
• Usar el modelo remoto con la función ML.GENERATE_EMBEDDING para generar incrustaciones a partir del contenido del PDF analizado y, a continuación, escribir esas incrustaciones en una tabla de BigQuery. Las inserciones son representaciones numéricas del contenido del PDF que te permiten realizar búsquedas semánticas y recuperar información del contenido del PDF.
• Usar la función VECTOR_SEARCH en las inserciones para identificar contenido de PDF similar semánticamente.
• Crear un modelo remoto que te permita usar un modelo de generación de texto de Gemini desde BigQuery.
• Realiza la generación aumentada de recuperación (RAG) usando el modelo remoto con la función ML.GENERATE_TEXT para generar texto. Para ello, usa los resultados de la búsqueda vectorial para mejorar la entrada de la petición y los resultados.

Costes

En este documento, se utilizan los siguientes componentes facturables de Google Cloud:

• BigQuery: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to Vertex AI models.
• Document AI: You incur costs for calls to the Document AI API.
• Cloud Storage: You incur costs for object storage in Cloud Storage.

Para generar una estimación de costes basada en el uso previsto, utiliza la calculadora de precios.

Para obtener más información, consulta las siguientes páginas de precios:

• Precios de BigQuery
• Precios de Vertex AI
• Precios de Document AI
• Precios de Cloud Storage

Antes de empezar

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, Vertex AI, Document AI, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

Roles obligatorios

Para completar este tutorial, necesitas los siguientes roles de Gestión de Identidades y Accesos (IAM):

• Crear segmentos y objetos de Cloud Storage: administrador de Storage (roles/storage.storageAdmin)
• Crear un procesador de documentos: editor de Document AI (roles/documentai.editor)
• Crear y usar conjuntos de datos, conexiones y modelos de BigQuery: Administrador de BigQuery (roles/bigquery.admin)
• Concede permisos a la cuenta de servicio de la conexión: administrador de gestión de identidades y accesos del proyecto (roles/resourcemanager.projectIamAdmin).

Estos roles predefinidos contienen los permisos necesarios para realizar las tareas descritas en este documento. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Crear conjunto de datos

Crea un conjunto de datos de BigQuery para almacenar tu modelo de aprendizaje automático.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crear una conexión

Crea una conexión de recursos de Cloud y obtén la cuenta de servicio de la conexión. Crea la conexión en la misma ubicación.

Puedes saltarte este paso si tienes una conexión predeterminada configurada o si tienes el rol Administrador de BigQuery.

Crea una conexión de recursos de Cloud para que la use el modelo remoto y obtén la cuenta de servicio de la conexión. Crea la conexión en la misma ubicación que el conjunto de datos que has creado en el paso anterior.

Selecciona una de las opciones siguientes:

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Conceder acceso a la cuenta de servicio

Selecciona una de las opciones siguientes:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/documentai.viewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/storage.objectViewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None
 

Sube el PDF de muestra a Cloud Storage

Para subir el PDF de muestra a Cloud Storage, sigue estos pasos:

1. Descarga el PDF de muestra scf23.pdf en https://www.federalreserve.gov/publications/files/scf23.pdf y haz clic en descargar download.
2. Crea un segmento de Cloud Storage.
3. Sube el archivo scf23.pdf al segmento.

Crear una tabla de objetos

Crea una tabla de objetos sobre el archivo PDF en Cloud Storage:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente instrucción:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.pdf`
   WITH CONNECTION `LOCATION.CONNECTION_ID`
   OPTIONS(
     object_metadata = 'SIMPLE',
     uris = ['gs://BUCKET/scf23.pdf']);

   Haz los cambios siguientes:

   • LOCATION: la ubicación de la conexión.
   • CONNECTION_ID: el ID de tu conexión de BigQuery.

     Cuando consultas los detalles de la conexión en la consola de Google Cloud , el CONNECTION_ID es el valor de la última sección del ID de conexión completo que se muestra en ID de conexión, por ejemplo, projects/myproject/locations/connection_location/connections/myconnection.

   • BUCKET: el contenedor de Cloud Storage que contiene el scf23.pdfarchivo. El valor completo de la opción uri debe ser similar a ['gs://mybucket/scf23.pdf'].

Crear un procesador de documentos

Crea un procesador de documentos basado en el procesador de análisis de diseño de la us multirregión.

Crea el modelo remoto para el procesador de documentos

Crea un modelo remoto para acceder al procesador de Document AI:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente instrucción:

   CREATE OR REPLACE MODEL `bqml_tutorial.parser_model`
   REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS(remote_service_type = 'CLOUD_AI_DOCUMENT_V1', document_processor = 'PROCESSOR_ID');

   Haz los cambios siguientes:

   • LOCATION: la ubicación de la conexión.
   • CONNECTION_ID: el ID de tu conexión de BigQuery.

     Cuando consultas los detalles de la conexión en la consola de Google Cloud , el CONNECTION_ID es el valor de la última sección del ID de conexión completo que se muestra en ID de conexión, por ejemplo, projects/myproject/locations/connection_location/connections/myconnection.

   • PROCESSOR_ID: el ID del procesador de documentos. Para encontrar este valor, consulta los detalles del procesador y, a continuación, busca la fila ID en la sección Información básica.

Analizar el archivo PDF en fragmentos

Usa el procesador de documentos con la función ML.PROCESS_DOCUMENT para analizar el archivo PDF en fragmentos y, a continuación, escribe ese contenido en una tabla. La función ML.PROCESS_DOCUMENT devuelve los fragmentos del PDF en formato JSON.

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente instrucción:

   CREATE or REPLACE TABLE bqml_tutorial.chunked_pdf AS (
     SELECT * FROM ML.PROCESS_DOCUMENT(
     MODEL bqml_tutorial.parser_model,
     TABLE bqml_tutorial.pdf,
     PROCESS_OPTIONS => (JSON '{"layout_config": {"chunking_config": {"chunk_size": 250}}}')
     )
   );

Analiza los datos de los fragmentos del PDF en columnas independientes

Extrae el contenido del PDF y la información de los metadatos de los datos JSON devueltos por la función ML.PROCESS_DOCUMENT y, a continuación, escribe ese contenido en una tabla:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente instrucción para analizar el contenido del PDF:

   CREATE OR REPLACE TABLE bqml_tutorial.parsed_pdf AS (
   SELECT
     uri,
     JSON_EXTRACT_SCALAR(json , '$.chunkId') AS id,
     JSON_EXTRACT_SCALAR(json , '$.content') AS content,
     JSON_EXTRACT_SCALAR(json , '$.pageFooters[0].text') AS page_footers_text,
     JSON_EXTRACT_SCALAR(json , '$.pageSpan.pageStart') AS page_span_start,
     JSON_EXTRACT_SCALAR(json , '$.pageSpan.pageEnd') AS page_span_end
   FROM bqml_tutorial.chunked_pdf, UNNEST(JSON_EXTRACT_ARRAY(ml_process_document_result.chunkedDocument.chunks, '$')) json
   );

3. En el editor de consultas, ejecuta la siguiente instrucción para ver un subconjunto del contenido del PDF analizado:

   SELECT *
   FROM `bqml_tutorial.parsed_pdf`
   ORDER BY id
   LIMIT 5;

   El resultado debería ser similar al siguiente:

   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
   |                uri                |  id  |                                                 content                                              | page_footers_text | page_span_start | page_span_end |
   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
   | gs://mybucket/scf23.pdf           | c1   | •BOARD OF OF FEDERAL GOVERN NOR RESERVE SYSTEM RESEARCH & ANALYSIS                                   | NULL              | 1               | 1             |
   | gs://mybucket/scf23.pdf           | c10  | • In 2022, 20 percent of all families, 14 percent of families in the bottom half of the usual ...    | NULL              | 8               | 9             |
   | gs://mybucket/scf23.pdf           | c100 | The SCF asks multiple questions intended to capture whether families are credit constrained, ...     | NULL              | 48              | 48            |
   | gs://mybucket/scf23.pdf           | c101 | Bankruptcy behavior over the past five years is based on a series of retrospective questions ...     | NULL              | 48              | 48            |
   | gs://mybucket/scf23.pdf           | c102 | # Percentiles of the Distributions of Income and Net Worth                                           | NULL              | 48              | 49            |
   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
    

Crear el modelo remoto para generar inserciones

Crea un modelo remoto que represente un modelo de generación de inserciones de texto de Vertex AI alojado:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente instrucción:

   CREATE OR REPLACE MODEL `bqml_tutorial.embedding_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'text-embedding-005');

   Haz los cambios siguientes:

   • LOCATION: la ubicación de la conexión.
   • CONNECTION_ID: el ID de tu conexión de BigQuery.

     Cuando consultas los detalles de la conexión en la consola de Google Cloud , el CONNECTION_ID es el valor de la última sección del ID de conexión completo que se muestra en ID de conexión, por ejemplo, projects/myproject/locations/connection_location/connections/myconnection.

Generar inserciones

Genera las inserciones del contenido del PDF analizado y, a continuación, escríbelas en una tabla:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente instrucción:

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS
   SELECT * FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.embedding_model`,
     TABLE `bqml_tutorial.parsed_pdf`
   );

Ejecutar una búsqueda vectorial

Ejecuta una búsqueda vectorial en el contenido del PDF analizado.

La siguiente consulta toma texto como entrada, crea una inserción para esa entrada mediante la función ML.GENERATE_EMBEDDING y, a continuación, usa la función VECTOR_SEARCH para asociar la inserción de entrada con las inserciones de contenido de PDF más similares. Los resultados son los diez fragmentos de PDF que son más similares semánticamente a la entrada.

1. Ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente instrucción SQL:

   SELECT query.query, base.id AS pdf_chunk_id, base.content, distance
   FROM
     VECTOR_SEARCH( TABLE `bqml_tutorial.embeddings`,
       'ml_generate_embedding_result',
       (
       SELECT
         ml_generate_embedding_result,
         content AS query
       FROM
         ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`,
           ( SELECT 'Did the typical family net worth increase? If so, by how much?' AS content)
         )
       ),
       top_k => 10,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')
   ORDER BY distance DESC;

   El resultado debería ser similar al siguiente:

   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   |                query                            | pdf_chunk_id |                                                 content                                              | distance            |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   | Did the typical family net worth increase? ,... | c9           | ## Assets                                                                                            | 0.31113668174119469 |
   |                                                 |              |                                                                                                      |                     |
   |                                                 |              | The homeownership rate increased slightly between 2019 and 2022, to 66.1 percent. For ...            |                     |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   | Did the typical family net worth increase? ,... | c50          | # Box 3. Net Housing Wealth and Housing Affordability                                                | 0.30973592073929113 |
   |                                                 |              |                                                                                                      |                     |
   |                                                 |              | For families that own their primary residence ...                                                    |                     |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   | Did the typical family net worth increase? ,... | c50          | 3 In the 2019 SCF, a small portion of the data collection overlapped with early months of            | 0.29270064592817646 |
   |                                                 |              | the COVID- ...                                                                                       |                     |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
    

Crear el modelo remoto para la generación de texto

Crea un modelo remoto que represente un modelo de generación de texto de Vertex AI alojado:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente instrucción:

   CREATE OR REPLACE MODEL `bqml_tutorial.text_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'gemini-2.0-flash-001');

   Haz los cambios siguientes:

   • LOCATION: la ubicación de la conexión.
   • CONNECTION_ID: el ID de tu conexión de BigQuery.

     Cuando consultas los detalles de la conexión en la consola de Google Cloud , el CONNECTION_ID es el valor de la última sección del ID de conexión completo que se muestra en ID de conexión, por ejemplo, projects/myproject/locations/connection_location/connections/myconnection.

Generar texto aumentado con resultados de búsqueda vectorial

Realiza una búsqueda vectorial en las incrustaciones para identificar contenido de PDF semánticamente similar y, a continuación, usa la función ML.GENERATE_TEXT con los resultados de la búsqueda vectorial para aumentar la entrada de la petición y mejorar los resultados de la generación de texto. En este caso, la consulta usa información de los fragmentos del PDF para responder a una pregunta sobre el cambio en el patrimonio neto familiar durante la última década.

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente instrucción:

   SELECT
     ml_generate_text_llm_result AS generated
     FROM
     ML.GENERATE_TEXT( MODEL `bqml_tutorial.text_model`,
       (
       SELECT
       CONCAT( 'Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
       STRING_AGG(FORMAT("context: %s and reference: %s", base.content, base.uri), ',\n')) AS prompt,
       FROM
         VECTOR_SEARCH( TABLE
           `bqml_tutorial.embeddings`,
           'ml_generate_embedding_result',
           (
           SELECT
             ml_generate_embedding_result,
             content AS query
           FROM
             ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`,
               (
               SELECT
                 'Did the typical family net worth change? How does this compare the SCF survey a decade earlier?' AS content
               )
             )
           ),
           top_k => 10,
           OPTIONS => '{"fraction_lists_to_search": 0.01}')
         ),
         STRUCT(512 AS max_output_tokens, TRUE AS flatten_json_output)
     );

   El resultado debería ser similar al siguiente:

   +-------------------------------------------------------------------------------+
   |               generated                                                       |
   +-------------------------------------------------------------------------------+
   | Between the 2019 and 2022 Survey of Consumer Finances (SCF), real median      |
   | family net worth surged 37 percent to $192,900, and real mean net worth       |
   | increased 23 percent to $1,063,700.  This represents the largest three-year   |
   | increase in median net worth in the history of the modern SCF, exceeding the  |
   | next largest by more than double.  In contrast, between 2010 and 2013, real   |
   | median net worth decreased 2 percent, and real mean net worth remained        |
   | unchanged.                                                                    |
   +-------------------------------------------------------------------------------+
    

Limpieza

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.