Menggunakan parser tata letak Document AI dengan Vertex AI RAG Engine

Halaman ini memperkenalkan parser tata letak Document AI dan cara menggunakannya dengan RAG Engine.

Document AI

Document AI adalah platform pemrosesan dokumen dan pemahaman dokumen yang mengambil data tidak terstruktur dari dokumen dan mengubah data tidak terstruktur tersebut menjadi kolom yang sesuai untuk disimpan dalam database. Data terstruktur menghasilkan data yang dapat Anda pahami, analisis, dan gunakan.

Document AI dibuat berdasarkan produk dalam Vertex AI dengan AI generatif untuk membantu Anda membuat aplikasi pemrosesan dokumen skala besar, menyeluruh, dan berbasis cloud. Anda tidak memerlukan keahlian machine learning khusus untuk menggunakan produk ini.

Parser tata letak Document AI

Parser tata letak mengekstrak elemen konten dari dokumen, seperti teks, tabel, dan daftar. Kemudian, parser tata letak akan membuat potongan kontekstual yang memfasilitasi pengambilan informasi dalam AI generatif dan aplikasi penemuan.

Saat digunakan untuk pengambilan dan pembuatan LLM, tata letak dokumen akan dipertimbangkan selama proses pengelompokan, yang meningkatkan koherensi semantik dan mengurangi derau dalam konten. Semua teks dalam bagian berasal dari entitas tata letak yang sama, seperti judul, subjudul, atau daftar.

Untuk jenis file yang digunakan oleh deteksi tata letak, lihat Deteksi tata letak per jenis file.

Menggunakan parser tata letak di Mesin RAG Vertex AI

Untuk menggunakan parser tata letak di Vertex AI RAG Engine, Anda harus membuat korpus. Untuk membuat korpus, lakukan hal berikut:

1. Di Google Cloud console, buka halaman RAG Engine.

   Buka RAG Engine

2. Pilih Buat korpus.

3. Di kolom Region, pilih region Anda.

4. Di kolom Corpus name, masukkan nama korpus Anda.

5. Di kolom Deskripsi, masukkan deskripsi.

6. Di bagian Data, pilih tempat Anda ingin mengupload data.

7. Luaskan bagian Advanced options.

   1. Di bagian Strategi pengelompokan, ukuran default berikut direkomendasikan:

      • Ukuran pemotongan: 1024
      • Tumpang-tindih bagian: 256

   2. Di bagian Layout parser, pilih opsi LLM parser, yang memiliki akurasi tertinggi untuk dokumen dengan gambar atau diagram.

      1. Dari kolom Model, pilih model Anda.

      2. Opsional: Di kolom Maximum parsing requests per min, masukkan permintaan penguraian maksimum Anda.

      3. Opsional: Di kolom Custom parsing prompt, masukkan perintah pemrosesan Anda.

      4. Klik Lanjutkan.

8. Dari halaman Configure vector store, lakukan tindakan berikut:

   1. Di kolom Model penyematan, pilih model penyematan Anda.

   2. Di bagian Database vektor, pilih database Anda.

9. Klik Buat korpus.

Batasan

ImportRagFiles API mendukung parser tata letak, tetapi batasan berikut berlaku:

• Masukkan ukuran file maksimum 20 MB untuk semua jenis file.
• Maksimum 500 halaman per file PDF.

Kuota dan harga Document AI berlaku.

Mengaktifkan Document AI API

Anda harus mengaktifkan Document AI API untuk project Anda. Untuk informasi selengkapnya tentang mengaktifkan API, lihat dokumentasi Service Usage.

Enable the Document AI API.

Enable the API

Mengaktifkan parser tata letak

Untuk mengaktifkan Layout Parser, ikuti langkah-langkah berikut:

1. Buat Layout Parser dengan mengikuti petunjuk dalam Membuat dan mengelola pemroses.

   Nama jenis prosesor adalah LAYOUT_PARSER_PROCESSOR.

2. Aktifkan Layout Parser dengan mengikuti petunjuk di Mengaktifkan pemroses.

Pusat informasi (korpus) RAG Anda

Jika Anda tidak memiliki korpus RAG, buat korpus RAG. Misalnya, lihat Membuat contoh korpus RAG.

Jika Anda sudah memiliki korpus RAG, file yang ada yang diimpor tanpa parser tata letak tidak akan diimpor ulang saat Anda Mengimpor file menggunakan Parser Tata Letak. Jika Anda ingin menggunakan parser tata letak dengan file, hapus file terlebih dahulu. Misalnya, lihat Contoh penghapusan file RAG.

Mengimpor file menggunakan parser tata letak

File dan folder dari berbagai sumber dapat diimpor menggunakan parser tata letak.

from vertexai import rag
import vertexai

PROJECT_ID = YOUR_PROJECT_ID
corpus_name = "projects/{PROJECT_ID}/locations/us-central1/ragCorpora/{rag_corpus_id}"
paths = ["https://drive.google.com/file/123", "gs://my_bucket/my_files_dir"]  # Supports Cloud Storage and Google Drive.

# Initialize Vertex AI API once per session
vertexai.init(project=PROJECT_ID, location="us-central1")

response = rag.import_files(
    corpus_name=corpus_name,
    paths=paths,
    transformation_config=rag.TransformationConfig(
        rag.ChunkingConfig(chunk_size=1024, chunk_overlap=256)
    ),
    import_result_sink="gs://sample-existing-folder/sample_import_result_unique.ndjson",  # Optional: This must be an existing storage bucket folder, and the filename must be unique (non-existent).
    llm_parser=rag.LlmParserConfig(
      model_name="gemini-2.5-pro-preview-05-06",
      max_parsing_requests_per_min=100,
    ),  # Optional
    max_embedding_requests_per_min=900,  # Optional
)
print(f"Imported {response.imported_rag_files} files.")

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_ID/ragFiles:import

{
  "import_rag_files_config": {
    "gcs_source": {
      "uris": "GCS_URIS"
    },
    "rag_file_parsing_config": {
      "layout_parser": {
        "processor_name": "LAYOUT_PARSER_PROCESSOR_NAME"
      }
    },
    "rag_file_transformation_config": {
      "rag_file_chunking_config": {
        "fixed_length_chunking": {
          "chunk_size": CHUNK_SIZE
        }
      }
    },
  }
}

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_ID/ragFiles:import"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_ID/ragFiles:import" | Select-Object -Expand Content

Kueri pengambilan

Saat pengguna mengajukan pertanyaan atau memberikan perintah, komponen pengambilan di RAG akan menelusuri pusat informasinya untuk menemukan informasi yang relevan dengan kueri.

Untuk contoh pengambilan file RAG dari korpus berdasarkan teks kueri, lihat Kueri pengambilan.

Prediksi

Prediksi menghasilkan respons yang berisi rujukan menggunakan konteks yang diambil. Sebagai contoh, lihat Pembuatan.

Langkah berikutnya

• Pilihan database vektor di Mesin RAG Vertex AI
• Untuk mempelajari cara mengimpor file RAG, lihat Contoh mengimpor file RAG.