Usar o analisador de layout do Document AI com o mecanismo de RAG da Vertex AI

Nesta página, apresentamos o analisador de layout da Document AI e como ele é usado com o mecanismo RAG.

Document AI

A Document AI é uma plataforma de processamento e compreensão de documentos que pega dados não estruturados de documentos e os transforma em campos adequados para armazenamento em um banco de dados. Os dados estruturados levam a informações que podem ser compreendidas, analisadas e consumidas.

A Document AI é criada com base em produtos da Vertex AI com IA generativa para ajudar você a criar aplicativos de processamento de documentos escalonáveis, completos e baseados na nuvem. Não é necessário ter experiência especializada em machine learning para usar esses produtos.

Analisador de layout do Document AI

O analisador de layout extrai elementos de conteúdo do documento, como texto, tabelas e listas. Em seguida, o analisador de layout cria blocos contextuais que facilitam a recuperação de informações em IA generativa e aplicativos de descoberta.

Quando usado para recuperação e geração de LLM, o layout do documento é considerado durante o processo de divisão em partes, o que melhora a coerência semântica e reduz o ruído no conteúdo. Todo o texto em um trecho vem da mesma entidade de layout, como o título, o subtítulo ou a lista.

Para conferir os tipos de arquivo usados pela detecção de layout, consulte Detecção de layout por tipo de arquivo.

Usar o analisador de layout no mecanismo RAG da Vertex AI

Para usar o analisador de layout no mecanismo RAG da Vertex AI, crie um corpus. Para criar um corpus, faça o seguinte:

1. No console Google Cloud , acesse a página RAG Engine.

   Acessar o mecanismo RAG

2. Selecione Criar corpus.

3. No campo Região, selecione sua região.

4. No campo Nome do corpus, insira o nome do corpus.

5. No campo Descrição, insira uma descrição.

6. Na seção Dados, selecione onde você quer fazer upload dos dados.

7. Expanda a seção Opções avançadas.

   1. Na seção Estratégia de divisão em partes, os seguintes tamanhos padrão são recomendados:

      • Tamanho da divisão: 1024
      • Sobreposição de partes: 256

   2. Na seção Analisador de layout, selecione a opção Analisador de LLM, que tem a maior acurácia para documentos com imagens ou gráficos.

      1. No campo Modelo, selecione o modelo.

      2. Opcional: no campo Máximo de solicitações de análise por minuto, insira o número máximo de solicitações de análise.

      3. Opcional: no campo Comando de análise personalizado, insira seu comando de análise.

      4. Clique em Continuar.

8. Na página Configurar repositório de vetores, faça o seguinte:

   1. No campo Modelo de embedding, selecione seu modelo de embedding.

   2. Na seção Banco de dados de vetores, selecione seu banco de dados.

9. Clique em Criar corpus.

Limitações

A API ImportRagFiles é compatível com o analisador de layout, mas as seguintes limitações se aplicam:

• Insira o tamanho máximo de 20 MB para todos os tipos de arquivo.
• Há um máximo de 500 páginas por arquivo PDF.

As cotas e os preços da Document AI se aplicam.

Ativar a API Document AI

Ative a API Document AI no seu projeto. Para mais informações sobre como ativar APIs, consulte a documentação do Service Usage.

Enable the Document AI API.

Enable the API

Ativar o analisador de layout

Para ativar o Layout Parser, siga estas etapas:

1. Crie um analisador de layout seguindo as instruções em Como criar e gerenciar processadores.

   O nome do tipo de processador é LAYOUT_PARSER_PROCESSOR.

2. Siga as instruções em Ativar um processador.

Sua base de conhecimento (corpus) de RAG

Se você não tiver um corpus RAG, crie um. Por exemplo, consulte Criar um exemplo de corpus RAG.

Se você já tiver um corpus de RAG, os arquivos importados sem um analisador de layout não serão importados novamente quando você Importar arquivos usando o analisador de layout. Se você quiser usar um analisador de layout com seus arquivos, exclua-os primeiro. Por exemplo, consulte Exemplo de exclusão de um arquivo RAG.

Importar arquivos usando o analisador de layout

É possível importar arquivos e pastas de várias fontes usando o analisador de layout.

from vertexai import rag
import vertexai

PROJECT_ID = YOUR_PROJECT_ID
corpus_name = "projects/{PROJECT_ID}/locations/us-central1/ragCorpora/{rag_corpus_id}"
paths = ["https://drive.google.com/file/123", "gs://my_bucket/my_files_dir"]  # Supports Cloud Storage and Google Drive.

# Initialize Vertex AI API once per session
vertexai.init(project=PROJECT_ID, location="us-central1")

response = rag.import_files(
    corpus_name=corpus_name,
    paths=paths,
    transformation_config=rag.TransformationConfig(
        rag.ChunkingConfig(chunk_size=1024, chunk_overlap=256)
    ),
    import_result_sink="gs://sample-existing-folder/sample_import_result_unique.ndjson",  # Optional: This must be an existing storage bucket folder, and the filename must be unique (non-existent).
    llm_parser=rag.LlmParserConfig(
      model_name="gemini-2.5-pro-preview-05-06",
      max_parsing_requests_per_min=100,
    ),  # Optional
    max_embedding_requests_per_min=900,  # Optional
)
print(f"Imported {response.imported_rag_files} files.")

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_ID/ragFiles:import

{
  "import_rag_files_config": {
    "gcs_source": {
      "uris": "GCS_URIS"
    },
    "rag_file_parsing_config": {
      "layout_parser": {
        "processor_name": "LAYOUT_PARSER_PROCESSOR_NAME"
      }
    },
    "rag_file_transformation_config": {
      "rag_file_chunking_config": {
        "fixed_length_chunking": {
          "chunk_size": CHUNK_SIZE
        }
      }
    },
  }
}

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_ID/ragFiles:import"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_ID/ragFiles:import" | Select-Object -Expand Content

Consultar recuperação

Quando um usuário faz uma pergunta ou fornece uma solicitação, o componente de recuperação no RAG pesquisa em sua base de conhecimento para encontrar informações relevantes para a consulta.

Para um exemplo de recuperação de arquivos RAG de um corpus com base em um texto de consulta, consulte Consulta de recuperação.

Previsão

A previsão gera uma resposta embasada usando os contextos recuperados. Por exemplo, consulte Geração.

A seguir

• Opções de banco de dados vetorial no mecanismo de RAG da Vertex AI
• Para saber como importar arquivos RAG, consulte o Exemplo de importação de arquivos RAG.