Analizzare i PDF in una pipeline di generazione aumentata dal recupero

Questo tutorial ti guida nella procedura di creazione di una pipeline RAG (Retrieval-Augmented Generation) basata su contenuti PDF analizzati.

I file PDF, come i documenti finanziari, possono essere difficili da utilizzare nelle pipeline RAG a causa della loro struttura complessa e del mix di testo, cifre e tabelle. Questo tutorial mostra come utilizzare le funzionalità di BigQuery ML in combinazione con Layout Parser di Document AI per creare una pipeline RAG basata sulle informazioni chiave estratte da un file PDF.

In alternativa, puoi eseguire questo tutorial utilizzando un notebook Colab Enterprise.

Obiettivi

Questo tutorial spiega le seguenti attività:

• Creazione di un bucket Cloud Storage e caricamento di un file PDF di esempio.
• Creazione di una connessione di risorsa Cloud per connetterti a Cloud Storage e Vertex AI da BigQuery.
• Creazione di una tabella di oggetti sul file PDF per renderlo disponibile in BigQuery.
• Creazione di un processore Document AI che puoi utilizzare per analizzare il file PDF.
• Creazione di un modello remoto che consente di utilizzare l'API Document AI per accedere al processore di documenti da BigQuery.
• Utilizzando il modello remoto con la funzione ML.PROCESS_DOCUMENT per analizzare i contenuti del PDF in blocchi e poi scriverli in una tabella BigQuery.
• Estrazione dei contenuti PDF dai dati JSON restituiti dalla funzione ML.PROCESS_DOCUMENT e scrittura di questi contenuti in una tabella BigQuery.
• Creazione di un modello remoto che consente di utilizzare il modello di generazione di incorporamenti text-embedding-004 di Vertex AI da BigQuery.
• Utilizzando il modello remoto con la funzione ML.GENERATE_EMBEDDING per generare incorporamenti dai contenuti PDF analizzati e poi scriverli in una tabella BigQuery. Gli incorporamenti sono rappresentazioni numeriche dei contenuti PDF che ti consentono di eseguire la ricerca semantica e il recupero dei contenuti PDF.
• Utilizzando la funzione VECTOR_SEARCH sugli incorporamenti per identificare contenuti PDF semanticamente simili.
• Creando un modello remoto che ti consente di utilizzare il modello di generazione di testo gemini-1.5-flash di Vertex AI da BigQuery.
• Esegui la generazione aumentata dal recupero (RAG) utilizzando il modello remoto con la funzione ML.GENERATE_TEXT per generare testo, utilizzando i risultati della ricerca vettoriale per aumentare l'input del prompt e migliorare i risultati.

Costi

In questo documento, utilizzi i seguenti componenti fatturabili di Google Cloud:

• BigQuery: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to Vertex AI models.
• Document AI: You incur costs for calls to the Document AI API.
• Cloud Storage: You incur costs for object storage in Cloud Storage.

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero avere diritto a una prova gratuita.

Per ulteriori informazioni, consulta le seguenti pagine dei prezzi:

• Prezzi di BigQuery
• Prezzi di Vertex AI
• Prezzi di Document AI
• Prezzi di Cloud Storage

Prima di iniziare

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, Vertex AI, Document AI, and Cloud Storage APIs.

   Enable the APIs

Ruoli obbligatori

• Per creare bucket e oggetti Cloud Storage, devi disporre del ruolo roles/storage.storageAdmin.

• Per creare un processore Document AI, devi disporre del ruolo roles/documentai.editor.

• Per creare una connessione, devi disporre del ruolo roles/bigquery.connectionAdmin.

• Per concedere le autorizzazioni al account di servizio della connessione, devi essere membro del ruolo roles/resourcemanager.projectIamAdmin.

• Le autorizzazioni IAM necessarie in questo tutorial per le restanti operazioni BigQuery sono incluse nei seguenti due ruoli:

  • BigQuery Data Editor (roles/bigquery.dataEditor) per creare modelli, tabelle e indici.
  • Utente BigQuery (roles/bigquery.user) per eseguire i job BigQuery.

Crea un set di dati

Crea un set di dati BigQuery per archiviare il tuo modello ML.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crea una connessione

Crea una connessione risorsa Cloud e ottieni il account di servizio della connessione. Crea la connessione nella stessa posizione.

Puoi saltare questo passaggio se hai configurato una connessione predefinita o se disponi del ruolo Amministratore BigQuery.

Crea una connessione a una risorsa Cloud da utilizzare per il modello remoto e recupera il account di servizio della connessione. Crea la connessione nella stessa posizione del set di dati che hai creato nel passaggio precedente.

Seleziona una delle seguenti opzioni:

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Concedi l'accesso al service account

Seleziona una delle seguenti opzioni:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/documentai.viewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/storage.objectViewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None
 

Carica il PDF di esempio su Cloud Storage

Per caricare il PDF di esempio in Cloud Storage:

1. Scarica il PDF di esempio scf23.pdf andando su https://www.federalreserve.gov/publications/files/scf23.pdf e facendo clic su Scarica download.
2. Crea un bucket Cloud Storage.
3. Carica il file scf23.pdf nel bucket.

Creare una tabella degli oggetti

Crea una tabella degli oggetti sul file PDF in Cloud Storage:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.pdf`
   WITH CONNECTION `LOCATION.CONNECTION_ID`
   OPTIONS(
     object_metadata = 'SIMPLE',
     uris = ['gs://BUCKET/scf23.pdf']);

   Sostituisci quanto segue:

   • LOCATION: la posizione della connessione.
   • CONNECTION_ID: l'ID della tua connessione BigQuery.

     Quando visualizzi i dettagli della connessione nella console Google Cloud , CONNECTION_ID è il valore nell'ultima sezione dell'ID connessione completo visualizzato in ID connessione, ad esempio projects/myproject/locations/connection_location/connections/myconnection.

   • BUCKET: il bucket Cloud Storage contenente il file scf23.pdf. Il valore completo dell'opzione uri dovrebbe essere simile a ['gs://mybucket/scf23.pdf'].

Crea un processore di documenti

Crea un processore di documenti basato sul processore dell'analizzatore sintattico di layout nella multi-regione us.

Crea il modello remoto per il processore di documenti

Crea un modello remoto per accedere al processore Document AI:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione:

   CREATE OR REPLACE MODEL `bqml_tutorial.parser_model`
   REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS(remote_service_type = 'CLOUD_AI_DOCUMENT_V1', document_processor = 'PROCESSOR_ID');

   Sostituisci quanto segue:

   • LOCATION: la posizione della connessione.
   • CONNECTION_ID: l'ID della tua connessione BigQuery.

     Quando visualizzi i dettagli della connessione nella console Google Cloud , CONNECTION_ID è il valore nell'ultima sezione dell'ID connessione completo visualizzato in ID connessione, ad esempio projects/myproject/locations/connection_location/connections/myconnection.

   • PROCESSOR_ID: l'ID del processore di documenti. Per trovare questo valore, visualizza i dettagli del processore, quindi esamina la riga ID nella sezione Informazioni di base.

Analizzare il file PDF in blocchi

Utilizza il processore di documenti con la funzione ML.PROCESS_DOCUMENT per analizzare il file PDF in blocchi e poi scrivere i contenuti in una tabella. La funzione ML.PROCESS_DOCUMENT restituisce i blocchi PDF in formato JSON.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione:

   CREATE or REPLACE TABLE bqml_tutorial.chunked_pdf AS (
     SELECT * FROM ML.PROCESS_DOCUMENT(
     MODEL bqml_tutorial.parser_model,
     TABLE bqml_tutorial.pdf,
     PROCESS_OPTIONS => (JSON '{"layout_config": {"chunking_config": {"chunk_size": 250}}}')
     )
   );

Analizzare i dati dei blocchi PDF in colonne separate

Estrai i contenuti e i metadati del PDF dai dati JSON restituiti dalla funzione ML.PROCESS_DOCUMENT, quindi scrivi i contenuti in una tabella:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione per analizzare il contenuto del PDF:

   CREATE OR REPLACE TABLE bqml_tutorial.parsed_pdf AS (
   SELECT
     uri,
     JSON_EXTRACT_SCALAR(json , '$.chunkId') AS id,
     JSON_EXTRACT_SCALAR(json , '$.content') AS content,
     JSON_EXTRACT_SCALAR(json , '$.pageFooters[0].text') AS page_footers_text,
     JSON_EXTRACT_SCALAR(json , '$.pageSpan.pageStart') AS page_span_start,
     JSON_EXTRACT_SCALAR(json , '$.pageSpan.pageEnd') AS page_span_end
   FROM bqml_tutorial.chunked_pdf, UNNEST(JSON_EXTRACT_ARRAY(ml_process_document_result.chunkedDocument.chunks, '$')) json
   );

3. Nell'editor di query, esegui la seguente istruzione per visualizzare un sottoinsieme dei contenuti PDF analizzati:

   SELECT *
   FROM `bqml_tutorial.parsed_pdf`
   ORDER BY id
   LIMIT 5;

   L'output è simile al seguente:

   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
   |                uri                |  id  |                                                 content                                              | page_footers_text | page_span_start | page_span_end |
   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
   | gs://mybucket/scf23.pdf           | c1   | •BOARD OF OF FEDERAL GOVERN NOR RESERVE SYSTEM RESEARCH & ANALYSIS                                   | NULL              | 1               | 1             |
   | gs://mybucket/scf23.pdf           | c10  | • In 2022, 20 percent of all families, 14 percent of families in the bottom half of the usual ...    | NULL              | 8               | 9             |
   | gs://mybucket/scf23.pdf           | c100 | The SCF asks multiple questions intended to capture whether families are credit constrained, ...     | NULL              | 48              | 48            |
   | gs://mybucket/scf23.pdf           | c101 | Bankruptcy behavior over the past five years is based on a series of retrospective questions ...     | NULL              | 48              | 48            |
   | gs://mybucket/scf23.pdf           | c102 | # Percentiles of the Distributions of Income and Net Worth                                           | NULL              | 48              | 49            |
   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
    

Crea il modello remoto per la generazione di incorporamenti

Crea un modello remoto che rappresenti un modello di generazione di text embedding Vertex AI ospitato:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione:

   CREATE OR REPLACE MODEL `bqml_tutorial.embedding_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'text-embedding-005');

   Sostituisci quanto segue:

   • LOCATION: la posizione della connessione.
   • CONNECTION_ID: l'ID della tua connessione BigQuery.

     Quando visualizzi i dettagli della connessione nella console Google Cloud , CONNECTION_ID è il valore nell'ultima sezione dell'ID connessione completo visualizzato in ID connessione, ad esempio projects/myproject/locations/connection_location/connections/myconnection.

Generare incorporamenti

Genera incorporamenti per i contenuti PDF analizzati e poi scrivili in una tabella:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione:

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS
   SELECT * FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.embedding_model`,
     TABLE `bqml_tutorial.parsed_pdf`
   );

Eseguire una ricerca vettoriale

Esegui una ricerca vettoriale sui contenuti PDF analizzati.

La seguente query prende l'input di testo, crea un incorporamento per questo input utilizzando la funzione ML.GENERATE_EMBEDDING e poi utilizza la funzione VECTOR_SEARCH per far corrispondere l'incorporamento dell'input con gli incorporamenti dei contenuti PDF più simili. I risultati sono i primi dieci blocchi PDF più simili semanticamente all'input.

1. Vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione SQL:

   SELECT query.query, base.id AS pdf_chunk_id, base.content, distance
   FROM
     VECTOR_SEARCH( TABLE `bqml_tutorial.embeddings`,
       'ml_generate_embedding_result',
       (
       SELECT
         ml_generate_embedding_result,
         content AS query
       FROM
         ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`,
           ( SELECT 'Did the typical family net worth increase? If so, by how much?' AS content)
         )
       ),
       top_k => 10,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')
   ORDER BY distance DESC;

   L'output è simile al seguente:

   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   |                query                            | pdf_chunk_id |                                                 content                                              | distance            |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   | Did the typical family net worth increase? ,... | c9           | ## Assets                                                                                            | 0.31113668174119469 |
   |                                                 |              |                                                                                                      |                     |
   |                                                 |              | The homeownership rate increased slightly between 2019 and 2022, to 66.1 percent. For ...            |                     |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   | Did the typical family net worth increase? ,... | c50          | # Box 3. Net Housing Wealth and Housing Affordability                                                | 0.30973592073929113 |
   |                                                 |              |                                                                                                      |                     |
   |                                                 |              | For families that own their primary residence ...                                                    |                     |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   | Did the typical family net worth increase? ,... | c50          | 3 In the 2019 SCF, a small portion of the data collection overlapped with early months of            | 0.29270064592817646 |
   |                                                 |              | the COVID- ...                                                                                       |                     |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
    

Crea il modello remoto per la generazione di testo

Crea un modello remoto che rappresenti un modello di generazione di testo Vertex AI ospitato:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione:

   CREATE OR REPLACE MODEL `bqml_tutorial.text_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'gemini-1.5-flash-002');

   Sostituisci quanto segue:

   • LOCATION: la posizione della connessione.
   • CONNECTION_ID: l'ID della tua connessione BigQuery.

     Quando visualizzi i dettagli della connessione nella console Google Cloud , CONNECTION_ID è il valore nell'ultima sezione dell'ID connessione completo visualizzato in ID connessione, ad esempio projects/myproject/locations/connection_location/connections/myconnection.

Generare testo arricchito dai risultati della ricerca vettoriale

Esegui una ricerca vettoriale sugli incorporamenti per identificare contenuti PDF semanticamente simili, quindi utilizza la funzione ML.GENERATE_TEXT con i risultati della ricerca vettoriale per aumentare l'input del prompt e migliorare i risultati della generazione di testo. In questo caso, la query utilizza le informazioni dei blocchi PDF per rispondere a una domanda sulla variazione del patrimonio netto familiare nell'ultimo decennio.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione:

   SELECT
     ml_generate_text_llm_result AS generated
     FROM
     ML.GENERATE_TEXT( MODEL `bqml_tutorial.text_model`,
       (
       SELECT
       CONCAT( 'Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
       STRING_AGG(FORMAT("context: %s and reference: %s", base.content, base.uri), ',\n')) AS prompt,
       FROM
         VECTOR_SEARCH( TABLE
           `bqml_tutorial.embeddings`,
           'ml_generate_embedding_result',
           (
           SELECT
             ml_generate_embedding_result,
             content AS query
           FROM
             ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`,
               (
               SELECT
                 'Did the typical family net worth change? How does this compare the SCF survey a decade earlier?' AS content
               )
             )
           ),
           top_k => 10,
           OPTIONS => '{"fraction_lists_to_search": 0.01}')
         ),
         STRUCT(512 AS max_output_tokens, TRUE AS flatten_json_output)
     );

   L'output è simile al seguente:

   +-------------------------------------------------------------------------------+
   |               generated                                                       |
   +-------------------------------------------------------------------------------+
   | Between the 2019 and 2022 Survey of Consumer Finances (SCF), real median      |
   | family net worth surged 37 percent to $192,900, and real mean net worth       |
   | increased 23 percent to $1,063,700.  This represents the largest three-year   |
   | increase in median net worth in the history of the modern SCF, exceeding the  |
   | next largest by more than double.  In contrast, between 2010 and 2013, real   |
   | median net worth decreased 2 percent, and real mean net worth remained        |
   | unchanged.                                                                    |
   +-------------------------------------------------------------------------------+
    

Esegui la pulizia

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.