Elaborare i documenti con la funzione ML.PROCESS_DOCUMENT

Questo documento descrive come utilizzare la funzione ML.PROCESS_DOCUMENT con un modello remoto per estrarre informazioni utili dai documenti in una tabella di oggetti.

Località supportate

Devi creare il modello remoto utilizzato in questa procedura nella regione US o EU multi-regione. Devi eseguire la funzione ML.PROCESS_DOCUMENT nella stessa regione del modello remoto.

Autorizzazioni obbligatorie

• Per creare un elaboratore Document AI, devi disporre del seguente ruolo:

  • roles/documentai.editor

• Per creare una connessione, devi disporre del seguente ruolo:

  • roles/bigquery.connectionAdmin

• Per creare il modello utilizzando BigQuery ML, sono necessarie le seguenti autorizzazioni:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

• Per eseguire l'inferenza, devi disporre delle seguenti autorizzazioni:

  • bigquery.tables.getData nella tabella degli oggetti
  • bigquery.models.getData sul modello
  • bigquery.jobs.create

Prima di iniziare

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery, BigQuery Connection API, and Document AI APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery, BigQuery Connection API, and Document AI APIs.

   Enable the APIs

Crea un processore

Crea un processore in Document AI per elaborare i documenti. Il processore deve essere di un tipo supportato.

Crea una connessione

Crea una connessione risorsa cloud e recupera l'account di servizio della connessione.

Seleziona una delle seguenti opzioni:

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Concedi l'accesso all'account di servizio

Seleziona una delle seguenti opzioni:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/documentai.viewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/storage.objectViewer' --condition=None

La mancata concessione dell'autorizzazione comporta un errore Permission denied.

Crea un set di dati

Crea un set di dati contenente il modello e la tabella degli oggetti. Devi creare il set di dati, la connessione e il processore di documenti nella stessa regione.

crea un modello

Crea un modello remoto con un REMOTE_SERVICE_TYPE di CLOUD_AI_DOCUMENT_V1:

CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
OPTIONS (
  REMOTE_SERVICE_TYPE = 'CLOUD_AI_DOCUMENT_V1',
  DOCUMENT_PROCESSOR = 'PROCESSOR_ID'
);

Sostituisci quanto segue:

• PROJECT_ID: il tuo ID progetto.
• DATASET_ID: l'ID del set di dati che deve contenere il modello.
• MODEL_NAME: il nome del modello.
• REGION: la regione utilizzata dalla connessione.
• CONNECTION_ID: l'ID connessione, ad esempio myconnection.

  Quando visualizzi i dettagli della connessione nella console Google Cloud, l'ID connessione è il valore nell'ultima sezione dell'ID connessione completo visualizzato in ID connessione, ad esempio projects/myproject/locations/connection_location/connections/myconnection.

• PROCESSOR_ID: l'ID del processore di documenti. Per trovare questo valore, visualizza i dettagli del processore e poi controlla la riga ID nella sezione Informazioni di base.

Per visualizzare le colonne di output del modello, fai clic su Vai al modello nel risultato della query dopo aver creato il modello. Le colonne di output vengono mostrate nella sezione Etichette della scheda Schema.

Crea una tabella di oggetti

Crea una tabella di oggetti su un insieme di documenti in Cloud Storage. I documenti nella tabella degli oggetti devono essere di un tipo supportato.

Elaborare documenti

Elabora tutti i documenti con ML.PROCESS_DOCUMENT:

SELECT *
FROM ML.PROCESS_DOCUMENT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE `PROJECT_ID.DATASET_ID.OBJECT_TABLE_NAME`
  [, PROCESS_OPTIONS => ( JSON 'PROCESS_OPTIONS')]
);

Sostituisci quanto segue:

• PROJECT_ID: il tuo ID progetto.
• DATASET_ID: l'ID del set di dati che contiene il modello.
• MODEL_NAME: il nome del modello.
• OBJECT_TABLE_NAME: il nome della tabella degli oggetti che contiene gli URI dei documenti da elaborare.
• PROCESS_OPTIONS: la configurazione JSON che specifica come elaborare i documenti. Ad esempio, lo utilizzi per specificare il chunking dei documenti per l'analizzatore del layout

In alternativa, elabora alcuni documenti con ML.PROCESS_DOCUMENT:

SELECT *
FROM ML.PROCESS_DOCUMENT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  (SELECT *
  FROM `PROJECT_ID.DATASET_ID.OBJECT_TABLE_NAME`
  WHERE FILTERS
  LIMIT NUM_DOCUMENTS
  )
  [, PROCESS_OPTIONS => ( JSON 'PROCESS_OPTIONS')]
);

Sostituisci quanto segue:

• PROJECT_ID: il tuo ID progetto.
• DATASET_ID: l'ID del set di dati che contiene il modello.
• MODEL_NAME: il nome del modello.
• OBJECT_TABLE_NAME: il nome della tabella degli oggetti che contiene gli URI dei documenti da elaborare.
• FILTERS: condizioni per filtrare i documenti che vuoi elaborare nelle colonne della tabella degli oggetti.
• NUM_DOCUMENTS: il numero massimo di documenti che vuoi elaborare.
• PROCESS_OPTIONS: la configurazione JSON che definisce la configurazione, ad esempio la configurazione del chunking per l'analizzatore di layout

Esempi

Esempio 1

L'esempio seguente utilizza il parser delle spese per elaborare i documenti rappresentati dalla tabella documents:

SELECT *
FROM ML.PROCESS_DOCUMENT(
  MODEL `myproject.mydataset.expense_parser`,
  TABLE `myproject.mydataset.documents`
);

Questa query restituisce i report sulle spese analizzati, inclusi valuta, importo totale, data di ricezione ed elementi nei report sulle spese. La colonna ml_process_document_result contiene l'output non elaborato dell'analizzatore di spese e la colonna ml_process_document_status contiene eventuali errori restituiti dall'elaborazione del documento.

Esempio 2

L'esempio seguente mostra come filtrare la tabella degli oggetti per scegliere quali documenti elaborare e poi scrivere i risultati in una nuova tabella:

CREATE TABLE `myproject.mydataset.expense_details`
AS
SELECT uri, content_type, receipt_date, purchase_time, total_amount, currency
FROM
  ML.PROCESS_DOCUMENT(
    MODEL `myproject.mydataset.expense_parser`,
    (SELECT * FROM `myproject.mydataset.expense_reports`
    WHERE uri LIKE '%restaurant%'));

Passaggi successivi

• Per informazioni sull'inferenza del modello in BigQuery ML, consulta Panoramica dell'inferenza del modello.
• Per informazioni sugli statement e sulle funzioni SQL supportati per ogni tipo di modello, consulta Percorso utente end-to-end per ogni modello.