Addestra e valuta

Document AI ti consente di addestrare nuove versioni del processore utilizzando i tuoi dati di addestramento e valutare la qualità della versione del processore rispetto ai tuoi dati di test.

Questa opzione è utile quando vuoi utilizzare un processore personalizzato. Esiste un processore Document AI per il tuo tipo di documento, ma puoi eseguire l'upgrade di una versione personalizzata per soddisfare le tue esigenze.

L'addestramento e la valutazione vengono in genere eseguiti in tandem per iterare verso una versione del processore di alta qualità e utilizzabile.

Document AI

Document AI ti consente di creare un estrattore personalizzato, che estrae entità da documenti di un particolare tipo, ad esempio gli elementi di un menu o il nome e i dati di contatto da un curriculum.

A differenza di altri processori, i processori personalizzati non vengono forniti con versioni del processore preaddestrate e pertanto non possono elaborare documenti finché non viene addestrata una versione da zero.

Per iniziare a utilizzare Document AI, consulta Crea il tuo processore personalizzato.

Ottimizzare l'addestramento di un processore

Puoi ottimizzare l'addestramento di nuove versioni del processore per migliorare l'accuratezza dei tuoi dati, estrarre campi personalizzati aggiuntivi dai tuoi documenti e aggiungere il supporto per nuove lingue.

L'addestramento up funziona applicando il transfer learning alle versioni preaddestrate del processore Google e in genere richiede meno dati rispetto all'addestramento da zero.

Per iniziare, vedi Ottimizzare l'addestramento di un processore preaddestrato.

Processori supportati

Non tutti i processori specializzati supportano l'upscaling. Questi sono i processori che supportano l'upscaling.

Considerazioni e consigli sui dati

La qualità e la quantità dei dati determinano la qualità dell'addestramento, dell'aggiornamento e della valutazione.

Ottenere un insieme di documenti rappresentativi e reali e fornire un numero sufficiente di etichette di alta qualità è spesso la parte più lunga e che richiede più risorse del processo.

Numero di documenti

Se i tuoi documenti hanno tutti un formato simile (ad esempio, un modulo fisso con una variazione molto bassa), sono necessari meno documenti per ottenere l'accuratezza. Maggiore è la variazione, più documenti sono necessari.

I seguenti grafici forniscono una stima approssimativa del numero di documenti necessari affinché un estrattore di documenti personalizzato raggiunga un determinato punteggio di qualità.

Variazione minima	Variazione elevata

Etichettatura dati

Valuta le opzioni per etichettare i documenti e assicurati di disporre di risorse sufficienti per annotare i documenti nel tuo set di dati.

Addestramento dei modelli

I processori di estrazione personalizzati possono utilizzare diversi tipi di modelli a seconda del caso d'uso specifico e dei dati di addestramento disponibili.

• Modello personalizzato: modello che utilizza dati di addestramento etichettati.
  • Basati su modelli: documenti con un layout fisso.
  • Basato su modello: documenti con alcune variazioni di layout.
• Modello di AI generativa: basato su modelli di base preaddestrati che richiedono un addestramento aggiuntivo minimo.

La seguente tabella illustra quali casi d'uso corrispondono a ciascun tipo di modello.

Scopri come ottimizzare un processore con le descrizioni delle proprietà.

Quando utilizzare un altro processore

Ecco alcuni casi in cui potresti prendere in considerazione opzioni diverse da Document AI Workbench o adattare il tuo flusso di lavoro.

• Alcuni formati di input basati su testo (.txt, .html, .docx, .md e così via) non sono supportati da Document AI Workbench. Valuta altre offerte di elaborazione del linguaggio predefinite o personalizzate in Google Cloud, come l'API Cloud Natural Language.
• Lo schema dell'estrattore personalizzato di documenti supporta fino a 150 etichette di entità. Se la tua logica di business richiede più di 150 entità nella definizione dello schema, valuta la possibilità di addestrare più processori, ognuno dei quali ha come target un sottoinsieme di entità.

Come addestrare un processore

Supponendo che tu abbia già creato un processore che supporta l'addestramento o l'uptraining e etichettato il set di dati, puoi addestrare una nuova versione del processore da zero. In alternativa, puoi eseguire l'uptraining di una nuova versione del processore in base a una esistente.

Addestra la versione del processore

from typing import Optional

from google.api_core.client_options import ClientOptions
from google.cloud import documentai  # type: ignore

# TODO(developer): Uncomment these variables before running the sample.
# project_id = 'YOUR_PROJECT_ID'
# location = 'YOUR_PROCESSOR_LOCATION' # Format is 'us' or 'eu'
# processor_id = 'YOUR_PROCESSOR_ID'
# processor_version_display_name = 'new-processor-version'
# train_data_uri = 'gs://bucket/directory/' # (Optional)
# test_data_uri = 'gs://bucket/directory/' # (Optional)


def train_processor_version_sample(
    project_id: str,
    location: str,
    processor_id: str,
    processor_version_display_name: str,
    train_data_uri: Optional[str] = None,
    test_data_uri: Optional[str] = None,
) -> None:
    # You must set the api_endpoint if you use a location other than 'us', e.g.:
    opts = ClientOptions(api_endpoint=f"{location}-documentai.googleapis.com")

    client = documentai.DocumentProcessorServiceClient(client_options=opts)

    # The full resource name of the processor
    # e.g. `projects/{project_id}/locations/{location}/processors/{processor_id}
    parent = client.processor_path(project_id, location, processor_id)

    processor_version = documentai.ProcessorVersion(
        display_name=processor_version_display_name
    )

    # If train/test data is not supplied, the default sets in the Cloud Console will be used
    input_data = documentai.TrainProcessorVersionRequest.InputData(
        training_documents=documentai.BatchDocumentsInputConfig(
            gcs_prefix=documentai.GcsPrefix(gcs_uri_prefix=train_data_uri)
        ),
        test_documents=documentai.BatchDocumentsInputConfig(
            gcs_prefix=documentai.GcsPrefix(gcs_uri_prefix=test_data_uri)
        ),
    )

    request = documentai.TrainProcessorVersionRequest(
        parent=parent, processor_version=processor_version, input_data=input_data
    )

    operation = client.train_processor_version(request=request)
    # Print operation details
    print(operation.operation.name)
    # Wait for operation to complete
    response = documentai.TrainProcessorVersionResponse(operation.result())

    metadata = documentai.TrainProcessorVersionMetadata(operation.metadata)

    print(f"New Processor Version:{response.processor_version}")
    print(f"Training Set Validation: {metadata.training_dataset_validation}")
    print(f"Test Set Validation: {metadata.test_dataset_validation}")

Esegui il deployment e utilizza la versione del processore

Puoi eseguire il deployment e gestire le versioni del processore come qualsiasi altra versione del processore. Per saperne di più, consulta Gestione delle versioni del processore.

Una volta eseguito il deployment, puoi inviare una richiesta di elaborazione al processore personalizzato.

Disabilitare o eliminare un processore

Se non vuoi più utilizzare un processore, puoi disattivarlo o eliminarlo. Se disattivi un processore, puoi riattivarlo. Se elimini un processore, non puoi recuperarlo.

1. Nel riquadro Document AI a sinistra, fai clic su I miei processori.

2. Fai clic sui tre puntini verticali a destra del nome del processore. Fai clic su Disattiva processore o Elimina processore.

Per saperne di più, consulta Gestione delle versioni del processore.

Crittografia dei dati di addestramento

I dati di addestramento di Document AI vengono salvati in Cloud Storage e possono essere criptati con chiavi di crittografia gestite dal cliente se necessario.

Eliminazione dei dati di addestramento

Una volta completato un job di addestramento di Document AI, tutti i dati di addestramento salvati in Cloud Storage scadono dopo un periodo di conservazione di due giorni. Le successive attività di eliminazione dei dati rispettano la procedura descritta in Eliminazione dei dati su Google Cloud.

Prezzi

L'addestramento e l'aggiornamento non prevedono costi. Paghi l'hosting e la previsione. Per saperne di più, consulta Prezzi di Document AI.