Extractor personalizado con IA generativa

El entrenamiento y la extracción de IA generativa te permiten hacer lo siguiente:

• Usa la tecnología de aprendizaje con pocos ejemplos y sin ejemplos para obtener un modelo de alto rendimiento con pocos datos de entrenamiento o sin ellos usando el modelo de base.
• Usa el ajuste fino para aumentar aún más la precisión a medida que proporcionas más y más datos de entrenamiento.

Métodos de entrenamiento de IA generativa

El método de entrenamiento que elijas dependerá de la cantidad de documentos que tengas disponibles y del esfuerzo que puedas dedicar a entrenar tu modelo. Existen tres formas de entrenar un modelo de IA generativa:

Versiones de modelos de extractores personalizados

Los siguientes modelos están disponibles para el extractor personalizado. Para cambiar las versiones del modelo, consulta Administra versiones de procesadores.

Las versiones 1.3, 1.4 y 1.5 admiten puntuaciones de confianza, mientras que la versión 1.2 no lo hace.

Para cambiar la versión del procesador en tu proyecto, consulta Administra versiones de procesadores.

Configuración inicial

Si aún no lo hiciste, habilita la facturación y las APIs de Document AI.

Compila y evalúa un modelo de IA generativa

1. Crea un procesador y define los campos que deseas extraer siguiendo las prácticas recomendadas, lo cual es importante porque afecta la calidad de la extracción.

   • Ve a Workbench > Extractor personalizado > Crear procesador > Asignar un nombre.

   

   • Ve a Comenzar > Crear nuevo campo.

   

2. Importar documentos

   • Importa documentos con el etiquetado automático y asígnalos a los conjuntos de entrenamiento y prueba.
   • Para el aprendizaje sin ejemplos, solo se requiere el esquema. Para evaluar la precisión del modelo, solo se necesita un conjunto de pruebas.
   • Para el aprendizaje con pocos ejemplos, recomendamos cinco documentos de entrenamiento.
   • La cantidad de documentos de prueba necesarios depende del caso de uso. En general, es mejor tener más documentos de prueba.
   • Confirma o edita las etiquetas del documento.

3. Entrena el modelo:

   • Selecciona Compilación y, luego, Crear versión nueva.
   • Ingresa un nombre y selecciona Crear.

   

1. Evaluación:

   • Ve a Evalúa y prueba, selecciona la versión que acabas de entrenar y, luego, selecciona Ver evaluación completa.

   

   • Ahora verás métricas como f1, precisión y recuperación para todo el documento y cada campo.
   • Decide si el rendimiento cumple con tus objetivos de producción. Si no es así, vuelve a evaluar los conjuntos de entrenamiento y prueba.

2. Sigue estos pasos para establecer una versión nueva como predeterminada:

   • Navega a Administrar versiones.
   • Selecciona para expandir las opciones y, luego, elige Establecer como predeterminado.

   

   Tu modelo ya está implementado. Los documentos que se envían a este procesador usan tu versión personalizada. Puedes evaluar el rendimiento del modelo para verificar si requiere más entrenamiento.

Referencia de evaluación

El motor de evaluación puede realizar coincidencias exactas o coincidencias aproximadas. Para una coincidencia exacta, el valor extraído debe coincidir exactamente con la verdad fundamental o se cuenta como un error.

Las extracciones de coincidencias aproximadas que tenían pequeñas diferencias, como diferencias en el uso de mayúsculas, aún se consideran coincidencias. Esto se puede cambiar en la pantalla Evaluación.

Ajuste

Con el ajuste, usas cientos o miles de documentos para tu entrenamiento.

1. Crea un procesador y define los campos que deseas extraer siguiendo las prácticas recomendadas, lo que es importante porque afecta la calidad de la extracción.

2. Importa documentos con etiquetado automático y asígnalos al conjunto de entrenamiento y prueba.

3. Confirma o edita las etiquetas del documento.

4. Entrenamiento de modelos

   • Selecciona la pestaña Compilación y, luego, Crear versión nueva en el cuadro Ajuste fino.

   

   • Prueba los parámetros o valores de entrenamiento predeterminados que se proporcionan. Si los resultados no son satisfactorios, experimenta con estas opciones avanzadas:

   • Pasos de entrenamiento (entre 100 y 400): Controla la frecuencia con la que se optimizan los pesos en un lote de datos durante el ajuste.

     • Si es demasiado bajo, indica el riesgo de que el entrenamiento finalice antes de la convergencia (ajuste insuficiente).
     • Si es demasiado alto, significa que el modelo podría ver el mismo lote de datos varias veces durante el entrenamiento, lo que puede generar un sobreajuste.
     • Menos pasos significan un tiempo de entrenamiento más rápido. Los recuentos más altos pueden ser útiles para los documentos con poca variación de plantilla (y los más bajos para aquellos con más variación).

   • Multiplicador de la tasa de aprendizaje (entre 0.1 y 10): Controla la rapidez con la que se optimizan los parámetros del modelo en los datos de entrenamiento. Corresponde aproximadamente al tamaño de cada paso de entrenamiento.

     • Las tasas bajas significan pequeños cambios en los pesos del modelo en cada paso de entrenamiento. Si es demasiado bajo, es posible que el modelo no converja en una solución estable.
     • Las tasas altas indican cambios grandes, y las tasas demasiado altas pueden significar que el modelo pasa por alto la solución óptima y, en cambio, converge en una solución subóptima.
     • El tiempo de entrenamiento no se ve afectado por la elección de la tasa de aprendizaje.

   • Asigna un nombre, selecciona la versión del procesador base requerida y selecciona Crear.

   

5. Evaluación: Ve a Evaluar y probar, luego selecciona la versión que acabas de entrenar y, luego, Ver evaluación completa.

   

   • Ahora verás métricas como f1, precisión y recuperación para todo el documento y cada campo.
   • Decide si el rendimiento cumple con tus objetivos de producción. Si no es así, es posible que se requieran más documentos de entrenamiento.

6. Sigue estos pasos para establecer una versión nueva como predeterminada:

   • Navega a Administrar versiones.
   • Selecciona para expandir las opciones y, luego, selecciona Establecer como predeterminado.

   

   Tu modelo ya está implementado, y los documentos que se envíen a este procesador ahora usarán tu versión personalizada. Quieres evaluar el rendimiento del modelo para verificar si requiere más entrenamiento.

Etiquetado automático con el modelo fundamental

El modelo de base puede extraer campos con precisión para una variedad de tipos de documentos, pero también puedes proporcionar datos de entrenamiento adicionales para mejorar la precisión del modelo para estructuras de documentos específicas.

Document AI usa los nombres de etiquetas que tú defines y las anotaciones anteriores para que sea más fácil y rápido etiquetar documentos a gran escala con el etiquetado automático.

1. Cuando hayas creado un procesador personalizado, ve a la pestaña Comenzar.
2. Selecciona Crear campo nuevo.

3. Asigna a la etiqueta un nombre descriptivo y distinto. Esto mejorará la exactitud y el rendimiento del modelo de base.

   

4. Para mejorar la precisión y el rendimiento de la extracción, agrega una descripción (como contexto, estadísticas y conocimientos previos adicionales para cada entidad) de los tipos de entidades que debería detectar.

   

5. Navega a la pestaña Compilación y, luego, selecciona Importar documentos.

   

6. Selecciona la ruta de los documentos y el conjunto al que se deben importar. Marca la opción de etiquetado automático y selecciona el modelo de base.

7. En la pestaña Compilar, selecciona Administrar conjunto de datos.

8. Cuando veas los documentos que importaste, selecciona uno de ellos.

   

Las predicciones del modelo ahora se muestran destacadas en color púrpura.

1. Revisa cada etiqueta que predijo el modelo y verifica que sea correcta.

2. Si faltan campos, agrégalos también.

   

3. Cuando se haya revisado el documento, selecciona Marcar como etiquetado. El documento ya está listo para que lo use el modelo.

4. Asegúrate de que el documento esté en el conjunto de prueba o entrenamiento.

Anidación de tres niveles

El extractor personalizado ahora proporciona tres niveles de anidación. Esta función proporciona una mejor extracción para las tablas complejas.

Puedes determinar el tipo de modelo con las siguientes llamadas a la API:

• processors.get
• processorVersions.get

La respuesta de estos es un ProcessorVersion, que contiene el campo modelType en la versión preliminar de v1beta3.

Procedimiento y ejemplo

Usaremos este ejemplo:

1. Selecciona Comenzar y, luego, crea un campo:

   • Crea el nivel superior.
   • En este ejemplo, se usa officer_appointments.
   • Selecciona Esta es una etiqueta superior.
   • Selecciona Ocurrencia: Optional multiple.

   

2. Selecciona Agregar campo secundario. Ahora se puede crear la etiqueta de segundo nivel:

   • Para esta etiqueta de nivel, crea officer.
   • Selecciona Esta es una etiqueta superior.
   • Selecciona Ocurrencia: Optional multiple.

   

3. Selecciona Agregar campo secundario en el segundo nivel de officer. Crea etiquetas secundarias para el tercer nivel de anidación.

4. Cuando se establece tu esquema, puedes obtener predicciones de documentos con tres niveles de anidación usando el etiquetado automático.

   

Etiqueta entidades anidadas en varias páginas

El procesador pretrained-foundation-model-v1.5-2025-05-05 admite anidamiento de tres niveles en las páginas.

1. Etiqueta una entidad de forma normal en una página. Nota: La entidad etiquetada solo será visible en la página en la que se etiquetó, y la barra de navegación cambiará de página a página. Si fijas la entidad principal, esta barra de navegación permanecerá.

   

2. Fija la entidad principal con elementos secundarios que quieras etiquetar en todas las páginas.

   

3. Navega a la página con la entidad o las entidades secundarias que deseas etiquetar.

Configuración del conjunto de datos

Conjunto de datos de entrenamiento

• Para el ajuste, necesitas un mínimo de 1 documento para entrenar un modelo nuevo con la versión pretrained-foundation-model-v1.2-2024-05-10 y pretrained-foundation-model-v1.3-2024-08-31.
• Para un aprendizaje con pocos ejemplos, se recomiendan cinco documentos.
• Para el aprendizaje sin ejemplos, solo se requiere un esquema.

Conjunto de datos de prueba

Extractor personalizado con descripciones de propiedades

Con las descripciones de propiedades, puedes entrenar un modelo describiendo cómo son los campos etiquetados. Puedes proporcionar contexto y estadísticas adicionales para cada entidad. Esto permite que el modelo se entrene haciendo coincidir los campos que se ajustan a la descripción que proporcionas y mejora la precisión de la extracción. Las descripciones de las propiedades se pueden especificar para las entidades principales y secundarias.

Entre los buenos ejemplos de descripciones de propiedades, se incluyen la información de ubicación y los patrones de texto de los valores de las propiedades, que ayudan a eliminar la ambigüedad de las posibles fuentes de confusión en el documento. Las descripciones de propiedades claras y precisas guían al modelo con reglas que promueven extracciones más confiables y coherentes, independientemente de la estructura específica del documento o las variaciones de contenido.

Actualiza el esquema del documento para un procesador

Para saber cómo configurar las descripciones de las propiedades, consulta Actualiza el esquema del documento.

Envía una solicitud de procesamiento con descripciones de propiedades

Si el esquema del documento ya tiene descripciones establecidas, puedes enviar una solicitud de procesamiento con las instrucciones que se indican en Envía una solicitud de procesamiento.

Ajusta un procesador con descripciones de propiedades

Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:

• LOCATION: La ubicación de tu procesador, por ejemplo:
  • us: Estados Unidos
  • eu: Unión Europea
• PROJECT_ID: El ID de tu proyecto de Google Cloud .
• PROCESSOR_ID: Es el ID de tu procesador personalizado.
• DISPLAY_NAME: Es el nombre visible del procesador.
• PRETRAINED_PROCESSOR_VERSION: Es el identificador de la versión del procesador. Consulta Selecciona una versión del procesador para obtener más información. Por ejemplo:
  • pretrained-TYPE-vX.X-YYYY-MM-DD
  • stable
  • rc
• TRAIN_STEPS: Son los pasos de entrenamiento para el ajuste del modelo.
• LEARN_RATE_MULTIPLIER: Es el multiplicador de la tasa de aprendizaje para el ajuste del modelo.
• DOCUMENT_SCHEMA: Esquema del procesador. Consulta la representación de DocumentSchema.

POST https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process

{
  "rawDocument": {
      "parent": "projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID",
         "processor_version": {
             "name": "projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/DISPLAY_NAME",
             "display_name": "DISPLAY_NAME",
             "model_type": "MODEL_TYPE_GENERATIVE",
         },
         "base_processor_version": "projects/PROJECT_ID/locations/us/processors/PROCESSOR_ID/processorVersions/PRETRAINED_PROCESSOR_VERSION",
         "foundation_model_tuning_options": {
             "train_steps": TRAIN_STEPS,
             "learning_rate_multiplier": LEARN_RATE_MULTIPLIER,
         }
         "document_schema": DOCUMENT_SCHEMA
      }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process" | Select-Object -Expand Content

¿Qué sigue?

Cómo enriquecer un procesador especializado