Tentang aplikasi dan penyimpanan data

Halaman ini menjelaskan aplikasi dan penyimpanan data Vertex AI Search.

Dengan Vertex AI Search, Anda membuat aplikasi penelusuran atau rekomendasi dan menghubungkannya ke penyimpanan data. Project Google Cloud dapat berisi beberapa aplikasi.

Hubungan antara aplikasi dan penyimpanan data

Hubungan antara aplikasi dan penyimpanan data bergantung pada jenis aplikasi:

  • Aplikasi penelusuran kustom memiliki hubungan many-to-many dengan penyimpanan data. Jika beberapa penyimpanan data terhubung ke satu aplikasi penelusuran kustom, hal ini disebut sebagai penelusuran gabungan. Untuk mengetahui informasi tentang batasan menghubungkan aplikasi penelusuran ke lebih dari satu penyimpanan data, lihat Tentang penelusuran gabungan.

  • Aplikasi rekomendasi kustom memiliki koneksi one-to-one dengan penyimpanan datanya.

  • Sebuah aplikasi media memiliki hubungan many-to-one dengan penyimpanan datanya. Aplikasi hanya dapat terhubung ke satu penyimpanan data, sedangkan penyimpanan data tertentu dapat terhubung ke beberapa aplikasi. Misalnya, aplikasi penelusuran media dan aplikasi rekomendasi media dapat berbagi penyimpanan data.

  • Sebuah aplikasi penelusuran layanan kesehatan memiliki hubungan many-to-one dengan penyimpanan datanya. Aplikasi hanya dapat terhubung ke satu penyimpanan data, sedangkan penyimpanan data tertentu dapat terhubung ke beberapa aplikasi. Misalnya, aplikasi yang ditampilkan kepada pasien dan aplikasi yang ditampilkan kepada penyedia layanan dapat terhubung ke penyimpanan data yang sama.

    Untuk impor data batch data layanan kesehatan, data diimpor ke dalam penyimpanan data yang ada dalam aplikasi. Untuk impor data streaming (Pratinjau) data layanan kesehatan, data diimpor ke dalam entity, yang merupakan jenis penyimpanan data yang ada dalam konektor data. Konektor data juga merupakan jenis penyimpanan data yang ada dalam aplikasi.

Setelah penyimpanan data terhubung ke aplikasi, hubungan tersebut tidak dapat diputus.

Metode pembuatan aplikasi dan penyerapan data

Cara Anda membuat aplikasi dan menyerap data bergantung pada jenis data yang Anda miliki:

  • Untuk data situs, Anda dapat menggunakan Google Cloud konsol atau API. Untuk menggunakan data situs yang dibuat dengan API, Anda harus melampirkan data tersebut ke aplikasi dengan fitur Enterprise yang diaktifkan di konsol Google Cloud .

  • Untuk data terstruktur atau tidak terstruktur, Anda dapat menggunakan konsolGoogle Cloud atau API.

  • Untuk data layanan kesehatan, Anda dapat menggunakan Google Cloud konsol atau API.

Dokumen

Setiap penyimpanan data memiliki satu atau beberapa kumpulan data, yang disebut dokumen. Hal yang diwakili oleh dokumen bervariasi bergantung pada jenis data dalam penyimpanan data tersebut:

  • Situs. Dokumen adalah halaman web.

  • Data terstruktur. Dokumen adalah baris dalam tabel atau kumpulan data JSON yang mengikuti skema tertentu. Anda dapat memberikan skema ini sendiri atau membiarkan Aplikasi AI menentukan skema dari data yang diserap.

  • Data terstruktur untuk media. Dokumen adalah baris dalam tabel atau kumpulan data JSON yang mengikuti skema yang spesifik untuk media. Dokumen ini adalah catatan yang berkaitan dengan konten media, seperti video, artikel berita, file musik, dan podcast. Dokumen berisi informasi yang menjelaskan item media, minimal: judul, URI ke lokasi konten, kategori, durasi, dan tanggal tersedia.

  • Data tidak terstruktur. Dokumen adalah file dalam format HTML, PDF dengan teks tersemat, atau TXT. Format PPTX dan DOCX tersedia di Pratinjau.

  • Data FHIR layanan kesehatan. Dokumen adalah resource FHIR R4 yang didukung. Untuk mengetahui daftar resource FHIR R4 yang didukung Vertex AI Search, lihat Referensi skema data FHIR R4 Layanan kesehatan.

Aplikasi dan penyimpanan data

Dalam Aplikasi AI, ada berbagai jenis penyimpanan data. Penyimpanan data hanya dapat berisi satu jenis data.

Data situs

Penyimpanan data dengan data situs menggunakan data yang diindeks dari situs publik. Anda dapat menyediakan kumpulan pola URL yang ingin disertakan dalam penyimpanan data. Halaman web yang sesuai dengan pola URL disebut halaman web disertakan. Kemudian, Anda dapat menyiapkan penelusuran pada data yang di-crawl dari halaman web yang disertakan.

Misalnya, Anda dapat memberikan pola URL seperti example.com/faq/* dan example.com/events/* serta mengaktifkan penelusuran pada data yang di-crawl dari halaman web ini yang sesuai dengan pola. Data ini mencakup teks, gambar yang diberi tag dengan metadata, dan data terstruktur lainnya seperti tag meta, atribut PageMap, dan data schema.org.

Anda juga dapat memberikan pola URL untuk bagian situs yang ingin dikecualikan, misalnya, example.com/events/members-only/* atau example.com/events/past-*. URL yang dikecualikan lebih diprioritaskan daripada URL yang disertakan.

Ada dua jenis penyimpanan data situs:

  • Penelusuran situs dasar:

    • Memberikan kemampuan penelusuran di indeks Google Penelusuran yang ada untuk situs yang disertakan.
    • Tidak memerlukan verifikasi domain.

  • Pengindeksan situs lanjutan:

    • Memberikan kemampuan penelusuran lanjutan pada indeks yang dibuat berdasarkan salah satu dari hal berikut:
      • Pemilik aplikasi Vertex AI Search dapat mengontrol halaman web mana yang diindeks dengan mengirimkan peta situs dan mengelolanya. Untuk informasi selengkapnya, lihat Mengindek dan memuat ulang halaman web menggunakan peta situs. Proses ini membuat indeks tetap baru tanpa intervensi manual.
      • Pemilik aplikasi Vertex AI Search dapat melakukan pengindeksan awal yang mencerminkan indeks Google Penelusuran, lalu memperluas cakupan indeks dengan meng-crawl ulang situs setiap kali diperlukan, sehingga selalu diperbarui. Untuk informasi selengkapnya, lihat Memuat ulang halaman web. Kemampuan lanjutan pengindeksan situs lanjutan tercantum di Pengindeksan situs lanjutan.
    • Memerlukan pemilik penyimpanan data Vertex AI Search untuk memverifikasi domain tempat situs yang disertakan berada. Untuk informasi selengkapnya, lihat Memverifikasi domain situs.
    • Memberikan kemampuan untuk menambahkan data terstruktur ke skema penyimpanan data. Situs berisi data tidak terstruktur, tetapi Anda dapat menambahkan data terstruktur dalam bentuk tag meta, atribut PageMap, dan data schema.org ke halaman web Anda. Kemudian, Anda dapat menggunakan data terstruktur ini untuk mengedit skema penyimpanan data seperti yang dijelaskan dalam Menggunakan data terstruktur untuk pengindeksan situs lanjutan.

Langkah berikutnya

Untuk penelusuran situs:

Data terstruktur

Penyimpanan data dengan data terstruktur memungkinkan penelusuran atau rekomendasi semantik di atas data terstruktur. Anda dapat mengimpor data dari BigQuery atau Cloud Storage. Anda juga dapat mengupload data JSON terstruktur secara manual melalui API.

Misalnya, Anda dapat mengaktifkan penelusuran atau rekomendasi melalui katalog produk untuk pengalaman e-commerce atau direktori dokter untuk penelusuran atau rekomendasi penyedia layanan.

Aplikasi AI mendeteksi skema secara otomatis dari data yang Anda impor. Secara opsional, Anda dapat memberikan skema untuk data Anda. Memberikan skema untuk data Anda biasanya akan meningkatkan kualitas hasil.

Langkah berikutnya

Untuk penelusuran kustom:

Untuk rekomendasi khusus:

Data terstruktur untuk media

Aplikasi media hanya dapat terhubung ke penyimpanan data media. Penyimpanan data media adalah penyimpanan data terstruktur dengan skema yang ditentukan Google atau dengan skema kustom Anda sendiri yang berisi kumpulan lima kolom terkait media tertentu. Untuk mengetahui informasi selengkapnya tentang skema, lihat Tentang dokumen media dan penyimpanan data.

Misalnya, Anda dapat mengaktifkan rekomendasi dengan membuat aplikasi rekomendasi media untuk katalog film atau situs berita sehingga pengguna akan memiliki saran yang sesuai dan dipersonalisasi untuk mereka.

Selain dokumen media, penyimpanan data media juga berisi informasi peristiwa pengguna yang memungkinkan Vertex AI Search menyesuaikan rekomendasi dan menelusuri pengguna Anda. Peristiwa pengguna diperlukan untuk aplikasi media. Untuk informasi tentang peristiwa pengguna, lihat Merekam peristiwa pengguna real-time.

Langkah berikutnya

Data tidak terstruktur

Penyimpanan data tidak terstruktur memungkinkan penelusuran semantik pada data seperti dokumen dan gambar.

Penyimpanan data tidak terstruktur mendukung dokumen dalam format HTML, PDF dengan teks tersemat, dan TXT. Format PPTX dan DOCX tersedia di Pratinjau.

Penelusuran memberikan hasil dalam bentuk 10 URL dan ringkasan jawaban untuk kueri bahasa alami. Dokumen harus diupload ke bucket Cloud Storage dengan izin akses yang sesuai. Misalnya, lembaga keuangan dapat mengaktifkan penelusuran di korpus pribadi mereka yang berisi publikasi riset keuangan, atau perusahaan bioteknologi dapat mengaktifkan penelusuran atau rekomendasi di repositori pribadi mereka yang berisi riset medis.

Langkah berikutnya

Untuk penelusuran:

Data FHIR layanan kesehatan

Aplikasi penelusuran layanan kesehatan menggunakan data FHIR R4 yang diimpor dari penyimpanan FHIR Cloud Healthcare API. Untuk mengetahui daftar resource FHIR R4 yang didukung Vertex AI Search, lihat Referensi skema data FHIR R4 Layanan Kesehatan. Penyimpanan data FHIR R4 harus memenuhi beberapa persyaratan sebelum dapat digunakan sebagai sumber data untuk penyimpanan data Vertex AI Search. Untuk mengetahui informasi selengkapnya, lihat cara menyiapkan data FHIR layanan kesehatan untuk penyerapan.

Langkah berikutnya

Tentang penelusuran gabungan

Anda dapat membuat aplikasi penelusuran gabungan, tempat beberapa penyimpanan data dapat dihubungkan ke satu aplikasi penelusuran kustom. Fitur ini memungkinkan Anda menggunakan satu aplikasi untuk menelusuri di beberapa sumber dan jenis data.

Untuk membuat aplikasi penelusuran gabungan, pilih beberapa penyimpanan data saat membuat aplikasi penelusuran kustom baru. Jika Anda tidak memilih beberapa penyimpanan data selama pembuatan, Anda tidak dapat menambahkan penyimpanan data tambahan nanti.

Saat mendapatkan hasil penelusuran, Anda dapat menelusuri di semua penyimpanan data, atau memfilter hasil dari satu penyimpanan data.

Batasan berikut berlaku:

  • Menambahkan dan menghapus penyimpanan data:
    • Untuk mengaktifkan penelusuran gabungan untuk aplikasi, Anda harus menghubungkan setidaknya dua penyimpanan data ke aplikasi tersebut selama pembuatan aplikasi.
    • Anda dapat menambahkan atau menghapus penyimpanan data dari aplikasi penelusuran gabungan, tetapi aplikasi tidak boleh memiliki kurang dari dua penyimpanan data yang terhubung ke aplikasi tersebut kapan saja.
    • Jika Anda menghubungkan satu penyimpanan data ke aplikasi penelusuran selama pembuatan aplikasi, Anda tidak dapat menambahkan atau menghapus penyimpanan data tersebut.
  • Penyimpanan data situs harus mengaktifkan pengindeksan situs lanjutan agar dapat digunakan untuk penelusuran campuran. Untuk mengetahui informasi selengkapnya, lihat Pengindeksan situs lanjutan.
  • Penyimpanan data yang berisi data tidak terstruktur yang diimpor menggunakan BigQuery tidak didukung.
  • Penelusuran gabungan mengizinkan kolom berikut dalam permintaan penelusuran:
    • boostSpec
    • contentSearchSpec
    • dataStoreSpecs
    • facetSpecs
    • filter
    • languageCode
    • offset
    • oneBoxPageSize
    • orderBy
    • query
    • pageSize
    • pageToken
    • relevanceScoreSpec
    • relevanceThreshold
    • session
    • sessionSpec
    • spellCorrectionSpec
    • userInfo
    • userPseudoId
  • Penelusuran gabungan mengizinkan kolom berikut di dataStoreSpecs:
    • dataStore
    • boostSpec: Jika ada spesifikasi boost yang ditentukan untuk SearchRequest dan dataStoreSpecs, kedua spesifikasi boost tersebut akan diterapkan ke hasil penelusuran
    • filter: Jika ada filter yang ditentukan untuk SearchRequest dan dataStoreSpecs, kedua filter tersebut akan diterapkan ke hasil penelusuran
  • Operasi Create, Read, Update, dan Delete (CRUD) pada konfigurasi penayangan didukung untuk aplikasi gabungan. Hanya kolom berikut yang dapat ditambahkan atau diperbarui dalam konfigurasi penayangan:
    • boostControlIds
    • displayName
    • filterControlIds
    • genericConfig:
      • contentSearchSpec
    • name
    • solutionType
    • synonymsControlIds
  • Operasi CRUD pada kontrol berikut didukung untuk aplikasi penelusuran campuran:
    • boostAction
    • synonymAction
    • filterAction
  • Ada batas 50 penyimpanan data per aplikasi penelusuran.
  • Jika satu penyimpanan data menggunakan konfigurasi CMEK, semua penyimpanan data lainnya juga harus menggunakan konfigurasi CMEK yang sama.