Menyiapkan data untuk penyerapan

Cara Anda menyiapkan data bergantung pada jenis data yang Anda impor dan cara Anda memilih untuk mengimpornya. Mulai dengan jenis data yang akan Anda impor:

• Data situs
• Data tidak terstruktur
• Data terstruktur
• Data media terstruktur
• Data FHIR layanan kesehatan

Untuk mengetahui informasi tentang penelusuran gabungan, tempat beberapa penyimpanan data dapat dihubungkan ke satu aplikasi penelusuran khusus, lihat Tentang menghubungkan beberapa penyimpanan data.

Data situs

Saat membuat penyimpanan data untuk data situs, Anda memberikan URL halaman web yang harus di-crawl dan diindeks Google untuk penelusuran atau rekomendasi.

Sebelum mengindeks data situs Anda:

• Tentukan pola URL yang akan disertakan dalam pengindeksan dan pola URL yang akan dikecualikan.

  • Mengecualikan pola untuk URL dinamis. URL dinamis adalah URL yang berubah pada saat penayangan, bergantung pada permintaan.

    Misalnya, pola URL untuk halaman web yang menayangkan hasil penelusuran, seperti www.example.com/search/*. Misalnya, pengguna menelusuri frasa Nobel prize, URL penelusuran dinamisnya mungkin berupa URL unik: www.example.com/search?q=nobel%20prize/UNIQUE_STRING. Jika pola URL www.example.com/search/* tidak dikecualikan, semua URL penelusuran dinamis yang unik dan mengikuti pola ini akan diindeks. Hal ini akan menghasilkan indeks yang membengkak dan kualitas penelusuran yang menurun.

  • Menghilangkan URL duplikat menggunakan pola URL kanonis. Hal ini memberikan satu URL kanonis untuk Google Penelusuran saat meng-crawl situs dan menghilangkan ambiguitas. Untuk contoh kanonikalisasi dan informasi selengkapnya, lihat Apa itu kanonikalisasi URL dan Cara menentukan URL kanonis dengan rel="canonical" dan metode lainnya.

• Anda dapat menyertakan pola URL baik dari domain yang sama maupun berbeda yang perlu diindeks dan mengecualikan pola yang tidak boleh diindeks. Jumlah pola URL yang dapat Anda sertakan dan kecualikan berbeda dengan cara berikut:

  Jenis pengindeksan	Situs yang disertakan	Situs yang dikecualikan
  Penelusuran situs dasar	Maksimum 50 pola URL	Maksimum 50 pola URL
  Pengindeksan situs lanjutan	Maksimum 500 pola URL	Maksimum 500 pola URL

• Pastikan halaman web yang ingin Anda berikan tidak menggunakan robots.txt untuk memblokir pengindeksan. Untuk mengetahui informasi selengkapnya, lihat Pengantar robot.txt.

• Jika Anda berencana menggunakan Pengindeksan situs lanjutan, Anda harus dapat memverifikasi domain untuk pola URL di penyimpanan data Anda.

• Tambahkan data terstruktur dalam bentuk tag meta dan PageMap ke skema penyimpanan data Anda untuk memperkaya pengindeksan seperti yang dijelaskan dalam Menggunakan data terstruktur untuk pengindeksan situs lanjutan.

Data tidak terstruktur

Vertex AI Search mendukung penelusuran dokumen dalam format HTML, PDF dengan teks tersemat, dan TXT. Format PPTX dan DOCX tersedia di Pratinjau.

Anda mengimpor dokumen dari bucket Cloud Storage. Anda dapat mengimpor menggunakan konsol Google Cloud , dengan metode ImportDocuments, atau dengan penyerapan streaming melalui metode CRUD. Untuk informasi referensi API, lihat DocumentService dan documents.

Tabel berikut mencantumkan batas ukuran file setiap jenis file dengan konfigurasi yang berbeda (untuk mengetahui informasi selengkapnya, lihat Mengurai dan membagi dokumen). Anda dapat mengimpor hingga 100.000 file sekaligus.

Jika Anda berencana menyertakan embedding dalam data tidak terstruktur, lihat Menggunakan embedding kustom.

Jika Anda memiliki PDF yang tidak dapat ditelusuri (PDF hasil pindaian atau PDF dengan teks di dalam gambar, seperti infografis), sebaiknya aktifkan pemrosesan pengenalan karakter optik (OCR) selama pembuatan penyimpanan data. Dengan demikian, Vertex AI Search dapat mengekstrak elemen seperti blok teks dan tabel. Jika Anda memiliki PDF yang dapat ditelusuri yang sebagian besar terdiri dari teks yang dapat dibaca mesin dan berisi banyak tabel, Anda dapat mempertimbangkan untuk mengaktifkan pemrosesan OCR dengan opsi untuk teks yang dapat dibaca mesin diaktifkan guna meningkatkan deteksi dan penguraian. Untuk mengetahui informasi selengkapnya, lihat Mengurai dan mengelompokkan dokumen.

Jika Anda ingin menggunakan Vertex AI Search untuk retrieval-augmented generation (RAG), aktifkan pemecahan dokumen saat Anda membuat penyimpanan data. Untuk mengetahui informasi selengkapnya, lihat Mengurai dan membagi dokumen menjadi beberapa bagian.

Anda dapat mengimpor data tidak terstruktur dari sumber berikut:

• Cloud Storage
• BigQuery
• Google Drive

Cloud Storage

Anda dapat mengimpor data dari Cloud Storage dengan atau tanpa metadata.

Impor data tidak bersifat rekursif. Artinya, jika ada folder dalam bucket atau folder yang Anda tentukan, file dalam folder tersebut tidak diimpor.

Jika Anda berencana mengimpor dokumen dari Cloud Storage tanpa metadata, masukkan dokumen Anda langsung ke bucket Cloud Storage. ID dokumen adalah contoh metadata.

Untuk pengujian, Anda dapat menggunakan folder Cloud Storage yang tersedia secara publik berikut, yang berisi PDF:

• gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs
• gs://cloud-samples-data/gen-app-builder/search/CUAD_v1
• gs://cloud-samples-data/gen-app-builder/search/kaiser-health-surveys
• gs://cloud-samples-data/gen-app-builder/search/stanford-cs-224

Jika Anda berencana mengimpor data dari Cloud Storage dengan metadata, masukkan file JSON yang berisi metadata ke dalam bucket Cloud Storage yang lokasinya Anda berikan selama impor.

Dokumen tidak terstruktur Anda dapat berada di bucket Cloud Storage yang sama dengan metadata Anda atau bucket yang berbeda.

File metadata harus berupa file JSON Lines atau NDJSON. ID dokumen adalah contoh metadata. Setiap baris file metadata harus mengikuti salah satu format JSON berikut:

• Menggunakan jsonData:
  • { "id": "<your-id>", "jsonData": "<JSON string>", "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }
• Menggunakan structData:
  • { "id": "<your-id>", "structData": { <JSON object> }, "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }

Gunakan kolom uri di setiap baris untuk mengarah ke lokasi Cloud Storage dokumen.

Berikut adalah contoh file metadata NDJSON untuk dokumen tidak terstruktur. Dalam contoh ini, setiap baris file metadata menunjuk ke dokumen PDF dan berisi metadata untuk dokumen tersebut. Dua baris pertama menggunakan jsonData dan dua baris kedua menggunakan structData. Dengan structData, Anda tidak perlu meng-escape tanda kutip yang muncul dalam tanda kutip.

{"id":"doc-0","jsonData":"{\"title\":\"test_doc_0\",\"description\":\"This document uses a blue color theme\",\"color_theme\":\"blue\"}","content":{"mimeType":"application/pdf","uri":"gs://test-bucket-12345678/test_doc_0.pdf"}}
{"id":"doc-1","jsonData":"{\"title\":\"test_doc_1\",\"description\":\"This document uses a green color theme\",\"color_theme\":\"green\"}","content":{"mimeType":"application/pdf","uri":"gs://test-bucket-12345678/test_doc_1.pdf"}}
{"id":"doc-2","structData":{"title":"test_doc_2","description":"This document uses a red color theme","color_theme":"red"},"content":{"mimeType":"application/pdf","uri":"gs://test-bucket-12345678/test_doc_3.pdf"}}
{"id":"doc-3","structData":{"title":"test_doc_3","description":"This is document uses a yellow color theme","color_theme":"yellow"},"content":{"mimeType":"application/pdf","uri":"gs://test-bucket-12345678/test_doc_4.pdf"}}

Untuk membuat penyimpanan data, lihat Membuat penyimpanan data penelusuran.

BigQuery

Jika Anda berencana mengimpor metadata dari BigQuery, buat tabel BigQuery yang berisi metadata. ID dokumen adalah contoh metadata.

Masukkan dokumen tidak terstruktur Anda ke dalam bucket Cloud Storage.

Gunakan skema BigQuery berikut. Gunakan kolom uri di setiap catatan untuk mengarah ke lokasi Cloud Storage dokumen.

[
  {
    "name": "id",
    "mode": "REQUIRED",
    "type": "STRING",
    "fields": []
  },
  {
    "name": "jsonData",
    "type": "STRING",
    "fields": []
  },
  {
    "name": "content",
    "type": "RECORD",
    "mode": "NULLABLE",
    "fields": [
      {
        "name": "mimeType",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "uri",
        "type": "STRING",
        "mode": "NULLABLE"
      }
    ]
  }
]

Untuk mengetahui informasi selengkapnya, lihat Membuat dan menggunakan tabel dalam dokumentasi BigQuery.

Untuk membuat penyimpanan data, lihat Membuat penyimpanan data penelusuran.

Google Drive

Penyinkronan data dari Google Drive didukung untuk penelusuran kustom.

Jika Anda berencana mengimpor data dari Google Drive, Anda harus menyiapkan Google Identity sebagai penyedia identitas di Aplikasi AI. Untuk mengetahui informasi tentang cara menyiapkan kontrol akses, lihat Menggunakan kontrol akses sumber data.

Untuk membuat penyimpanan data, lihat Membuat penyimpanan data penelusuran.

Data terstruktur

Siapkan data Anda sesuai dengan metode impor yang akan Anda gunakan. Jika Anda berencana untuk memproses data media, lihat juga Data media terstruktur.

Anda dapat mengimpor data terstruktur dari sumber berikut:

• Cloud Storage
• Data JSON lokal

Saat mengimpor data terstruktur dari BigQuery atau dari Cloud Storage, Anda diberi opsi untuk mengimpor data dengan metadata. (Data terstruktur dengan metadata juga disebut sebagai data terstruktur yang ditingkatkan.)

BigQuery

Anda dapat mengimpor data terstruktur dari set data BigQuery.

Skema Anda terdeteksi secara otomatis. Setelah mengimpor, Google merekomendasikan agar Anda mengedit skema yang terdeteksi otomatis untuk memetakan properti utama, seperti judul. Jika mengimpor menggunakan API, bukan konsol Google Cloud , Anda memiliki opsi untuk memberikan skema Anda sendiri sebagai objek JSON. Untuk mengetahui informasi selengkapnya, lihat Menyediakan atau mendeteksi skema secara otomatis.

Untuk contoh data terstruktur yang tersedia untuk publik, lihat set data publik BigQuery.

Jika Anda berencana menyertakan penyematan dalam data terstruktur, lihat Menggunakan penyematan kustom.

Jika Anda memilih untuk mengimpor data terstruktur dengan metadata, Anda menyertakan dua kolom di tabel BigQuery Anda:

• Kolom id untuk mengidentifikasi dokumen. Jika Anda mengimpor data terstruktur tanpa metadata, id akan dibuat untuk Anda. Dengan menyertakan metadata, Anda dapat menentukan nilai id.

• Kolom jsonData yang berisi data. Untuk contoh string jsonData, lihat bagian sebelumnya Cloud Storage.

Gunakan skema BigQuery berikut untuk impor data terstruktur dengan metadata:

[
  {
    "name": "id",
    "mode": "REQUIRED",
    "type": "STRING",
    "fields": []
  },
  {
    "name": "jsonData",
    "mode": "NULLABLE",
    "type": "STRING",
    "fields": []
  }
]

Untuk mengetahui petunjuk tentang cara membuat penyimpanan data, lihat Membuat penyimpanan data penelusuran atau Membuat penyimpanan data rekomendasi.

Cloud Storage

Data terstruktur di Cloud Storage harus dalam format JSON Lines atau NDJSON. Ukuran setiap file tidak boleh lebih dari 2 GB. Anda dapat mengimpor hingga 100 file sekaligus.

Untuk contoh data terstruktur yang tersedia secara publik, lihat folder berikut di Cloud Storage, yang berisi file NDJSON:

• gs://cloud-samples-data/gen-app-builder/search/kaggle_movies
• gs://cloud-samples-data/gen-app-builder/search/austin_311

Jika Anda berencana menyertakan penyematan dalam data terstruktur, lihat Menggunakan penyematan kustom.

Berikut adalah contoh file metadata NDJSON dari data terstruktur. Setiap baris file mewakili dokumen dan terdiri dari sekumpulan kolom.

{"id": 10001, "title": "Hotel 1", "location": {"address": "1600 Amphitheatre Parkway, Mountain View, CA 94043"}, "available_date": "2024-02-10", "non_smoking": true, "rating": 3.7, "room_types": ["Deluxe", "Single", "Suite"]}
{"id": 10002, "title": "Hotel 2", "location": {"address": "Manhattan, New York, NY 10001"}, "available_date": "2023-07-10", "non_smoking": false, "rating": 5.0, "room_types": ["Deluxe", "Double", "Suite"]}
{"id": 10003, "title": "Hotel 3", "location": {"address": "Moffett Park, Sunnyvale, CA 94089"}, "available_date": "2023-06-24", "non_smoking": true, "rating": 2.5, "room_types": ["Double", "Penthouse", "Suite"]}

Untuk membuat penyimpanan data, lihat Membuat penyimpanan data penelusuran atau Membuat penyimpanan data rekomendasi.

Data JSON lokal

Anda dapat langsung mengupload dokumen atau objek JSON menggunakan API.

Google merekomendasikan penyediaan skema Anda sendiri sebagai objek JSON untuk hasil yang lebih baik. Jika Anda tidak memberikan skema sendiri, skema akan terdeteksi secara otomatis. Setelah mengimpor, sebaiknya edit skema yang terdeteksi otomatis untuk memetakan properti utama, seperti judul. Untuk mengetahui informasi selengkapnya, lihat Menyediakan atau mendeteksi skema secara otomatis.

Jika Anda berencana menyertakan penyematan dalam data terstruktur, lihat Menggunakan penyematan kustom.

Untuk membuat penyimpanan data, lihat Membuat penyimpanan data penelusuran atau Membuat penyimpanan data rekomendasi.

Data media terstruktur

Jika Anda berencana untuk memproses data media terstruktur, seperti video, berita, atau musik, tinjau hal berikut:

• Informasi tentang metode impor Anda (BigQuery atau Cloud Storage): Data terstruktur
• Skema dan kolom yang diperlukan untuk dokumen media dan penyimpanan data: Tentang dokumen media dan penyimpanan data
• Persyaratan dan skema peristiwa pengguna: Tentang peristiwa pengguna media
• Informasi tentang jenis rekomendasi media: Tentang jenis rekomendasi media

Data FHIR layanan kesehatan

Jika Anda berencana untuk menyerap data FHIR dari Cloud Healthcare API, pastikan hal berikut:

• Lokasi: Penyimpanan FHIR sumber harus berada di set data Cloud Healthcare API yang berada di lokasi us-central1, us, atau eu. Untuk mengetahui informasi selengkapnya, lihat Membuat dan mengelola set data di Cloud Healthcare API.
• Jenis FHIR store: FHIR store sumber harus berupa penyimpanan data R4. Anda dapat memeriksa versi penyimpanan FHIR dengan mencantumkan penyimpanan FHIR di set data Anda. Untuk membuat penyimpanan FHIR R4, lihat Membuat penyimpanan FHIR.
• Kuota impor: FHIR store sumber harus memiliki kurang dari 1 juta resource FHIR. Jika ada lebih dari 1 juta resource FHIR, proses impor akan berhenti setelah batas ini tercapai. Untuk mengetahui informasi selengkapnya, silakan melihat Kuota dan batas.
• File yang dirujuk dalam resource DocumentReference harus berupa file PDF, RTF, atau gambar yang disimpan di Cloud Storage. Link ke file yang dirujuk harus berada di kolom content[].attachment.url dari resource dalam format jalur Cloud Storage standar: gs://BUCKET_NAME/PATH_TO_REFERENCED_FILE.
• Tinjau daftar resource FHIR R4 yang didukung Vertex AI Search. Untuk mengetahui informasi selengkapnya, lihat Referensi skema data FHIR R4 Layanan kesehatan.
• Referensi resource: Pastikan referensi resource relatif dalam format Resource/resourceId. Misalnya, subject.reference harus memiliki nilai Patient/034AB16. Untuk mengetahui informasi selengkapnya tentang cara Cloud Healthcare API mendukung referensi resource FHIR, lihat Referensi resource FHIR.