Usar o analisador de layout do Document AI com o mecanismo de RAG da Vertex AI

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Esta página apresenta o analisador de layout da Document AI e como ele é usado com o RAG Engine.

Document AI

A Document AI é uma plataforma de processamento e compreensão de documentos que pega dados não estruturados de documentos e os transforma em campos adequados para armazenamento em um banco de dados. Os dados estruturados levam a dados que você pode entender, analisar e consumir.

A Document AI é baseada em produtos da Vertex AI com IA generativa para ajudar você a criar aplicativos de processamento de documentos baseados em nuvem e escalonáveis. Não é necessário ter experiência especializada em machine learning para usar esses produtos.

Analisador de layout do Document AI

O analisador de layout extrai elementos de conteúdo do documento, como texto, tabelas e listas. O analisador de layout cria blocos contextuais que facilitam a recuperação de informações em IA generativa e em aplicativos de descoberta.

Quando usado para recuperação e geração de LLM, o layout do documento é considerado durante o processo de fragmentação, o que melhora a coerência semântica e reduz o ruído no conteúdo. Todo o texto em um bloco vem da mesma entidade de layout, como o título, subtítulo ou lista.

Para saber quais tipos de arquivo são usados pela detecção de layout, consulte Detecção de layout por tipo de arquivo.

Usar o analisador de layout na RAG da Vertex AI

A API ImportRagFiles oferece suporte ao analisador de layout. No entanto, as seguintes limitações se aplicam:

• Insira o tamanho máximo de 20 MB para todos os tipos de arquivo.
• Há um limite máximo de 500 páginas por arquivo PDF.

As cotas e os preços do Document AI se aplicam.

Ativar a API Document AI

Ative a API Document AI no seu projeto. Para mais informações sobre como ativar APIs, consulte a documentação do Service Usage.

Enable the Document AI API.

Enable the API

Ativar o analisador de layout

Para ativar o Layout Parser, siga estas etapas:

1. Crie um analisador de layout seguindo as instruções em Como criar e gerenciar processadores.

   O nome do tipo de processador é LAYOUT_PARSER_PROCESSOR.

2. Ative o Layout Parser seguindo as instruções em Ativar um processador.

Sua base de conhecimento RAG (corpus)

Se você não tiver um corpus RAG, crie um. Por exemplo, consulte Criar um exemplo de corpus RAG.

Se você já tiver um corpus RAG, os arquivos que foram importados sem um parser de layout não serão importados novamente quando você importar arquivos usando o Layout Parser. Se você quiser usar um analisador de layout com seus arquivos, exclua-os primeiro. Por exemplo, consulte Exemplo de exclusão de um arquivo RAG.

Como importar arquivos usando o Analisador de layout

Arquivos e pastas de várias origens podem ser importados usando o analisador de layout.

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_ID/ragFiles:import

{
  "import_rag_files_config": {
    "gcs_source": {
      "uris": "GCS_URIS"
    },
    "rag_file_parsing_config": {
      "layout_parser": {
        "processor_name": "LAYOUT_PARSER_PROCESSOR_NAME"
      }
    },
    "rag_file_transformation_config": {
      "rag_file_chunking_config": {
        "fixed_length_chunking": {
          "chunk_size": CHUNK_SIZE
        }
      }
    },
  }
}

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_ID/ragFiles:import"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_ID/ragFiles:import" | Select-Object -Expand Content

from vertexai import rag
import vertexai

PROJECT_ID = "PROJECT_ID"
corpus_name = "projects/{PROJECT_ID}/locations/LOCATION/ragCorpora/RAG_CORPUS_ID"
# paths = ["https://drive.google.com/file/123", "gs://my_bucket/my_files_dir"]
# Supports Cloud Storage and Google Drive links
layout_parser_processor_name = "LAYOUT_PARSER_PROCESSOR_NAME"

# Initialize Vertex AI API once per session
vertexai.init(project=PROJECT_ID, location="LOCATION")

response = rag.import_files(
    corpus_name=corpus_name,
    paths=paths,
    transformation_config = rag.TransformationConfig(
        chunking_config=rag.ChunkingConfig(
            chunk_size=512,  # Optional
            chunk_overlap=100,  # Optional
        ),
    ),
    max_embedding_requests_per_min=900,  # Optional
    parser=rag.LayoutParserConfig(
        processor_name=layout_parser_processor_name,
        max_parsing_requests_per_min=120,  # Optional
    )
)
print(f"Imported {response.imported_rag_files_count} files.")
# Example response:
# Imported 2 files.

Consultar recuperação

Quando um usuário faz uma pergunta ou fornece uma solicitação, o componente de recuperação na RAG pesquisa na base de conhecimento para encontrar informações relevantes para a consulta.

Para conferir um exemplo de como recuperar arquivos RAG de um corpus com base em um texto de consulta, consulte Consulta de recuperação.

Previsão

A previsão gera uma resposta fundamentada usando os contextos recuperados. Para um exemplo, consulte Geração.

A seguir

• Opções de banco de dados de vetor no mecanismo de RAG da Vertex AI