Melakukan pembuatan penelusuran dan pengambilan tambahan secara semantik

Untuk memberikan masukan atau meminta dukungan terkait fitur ini, kirim email ke bq-vector-search@google.com.

Tutorial ini memandu Anda menyelesaikan proses end-to-end dalam membuat dan menggunakan embedding teks, termasuk menggunakan indeks vektor untuk meningkatkan performa penelusuran.

Tutorial ini membahas tugas-tugas berikut:

• Membuat model jarak jauh BigQuery ML melalui model bahasa besar (LLM) Vertex AI.
• Menggunakan model jarak jauh dengan fungsi ML.GENERATE_EMBEDDING untuk menghasilkan embedding dari teks dalam tabel BigQuery.
• Membuat indeks vektor untuk mengindeks embedding.
• Menggunakan fungsi VECTOR_SEARCH dengan embedding untuk menelusuri teks yang serupa.
• Lakukan pembuatan augmented (RAG) dengan membuat teks menggunakan fungsi ML.GENERATE_TEXT, dan menggunakan hasil penelusuran vektor untuk menambah input perintah dan meningkatkan hasil.

Tutorial ini menggunakan tabel publik BigQuery patents-public-data.google_patents_research.publications.

Peran dan izin yang diperlukan

• Untuk membuat koneksi, Anda memerlukan keanggotaan dalam peran Identity and Access Management (IAM) berikut:

  • roles/bigquery.connectionAdmin

• Untuk memberikan izin ke akun layanan koneksi, Anda memerlukan izin berikut:

  • resourcemanager.projects.setIamPolicy

• Izin IAM yang diperlukan dalam tutorial ini untuk operasi BigQuery yang tersisa disertakan dalam dua peran berikut:

  • Editor Data BigQuery (roles/bigquery.dataEditor) untuk membuat model, tabel, dan indeks.
  • BigQuery User (roles/bigquery.user) untuk menjalankan tugas BigQuery.

Biaya

Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:

• BigQuery ML: Anda akan dikenai biaya untuk data yang diproses di BigQuery.
• Vertex AI: Anda dikenai biaya panggilan ke layanan Vertex AI yang direpresentasikan oleh model jarak jauh.

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Untuk mengetahui informasi selengkapnya tentang harga BigQuery, lihat harga BigQuery dalam dokumentasi BigQuery.

Untuk mengetahui informasi selengkapnya tentang harga Vertex AI, lihat halaman harga Vertex AI.

Sebelum memulai

1. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Buka pemilih project

2. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

3. Aktifkan API BigQuery, BigQuery Connection, and Vertex AI.

   Mengaktifkan API

Membuat set data

Buat set data BigQuery untuk menyimpan model ML Anda:

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka halaman BigQuery

2. Di panel Explorer, klik nama project Anda.

3. Klik more_vert View actions > Create dataset.

   

4. Di halaman Create dataset, lakukan hal berikut:

   • Untuk Dataset ID, masukkan bqml_tutorial.

   • Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).

     Set data publik disimpan di US multi-region. Untuk mempermudah, simpan set data Anda di lokasi yang sama.

   • Jangan ubah setelan default yang tersisa, lalu klik Create dataset.

     

Membuat koneksi

Buat koneksi resource Cloud dan dapatkan akun layanan koneksi. Buat koneksi di lokasi yang sama seperti set data yang Anda buat di langkah sebelumnya.

Pilih salah satu opsi berikut:

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Memberikan akses akun layanan

Untuk memberikan peran yang sesuai kepada akun layanan koneksi agar dapat mengakses layanan Vertex AI, ikuti langkah-langkah berikut:

1. Buka halaman IAM & Admin.

   Buka IAM & Admin

2. Klik person_add Berikan Akses.

3. Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.

4. Di kolom Pilih peran, pilih Vertex AI, lalu pilih Peran Pengguna Vertex AI.

5. Klik Save.

Membuat model jarak jauh untuk pembuatan embedding teks

Buat model jarak jauh yang merepresentasikan model pembuatan embedding teks Vertex AI yang dihosting:

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan berikut:

   CREATE OR REPLACE MODEL `bqml_tutorial.embedding_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'textembedding-gecko@003');
   

   Ganti kode berikut:

   • LOCATION: lokasi koneksi
   • CONNECTION_ID: ID koneksi BigQuery

     Saat Anda melihat detail koneksi di Konsol Google Cloud, CONNECTION_ID adalah nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat, yang ditampilkan di Connection ID, misalnya projects/myproject/locations/connection_location/connections/myconnection

   Kueri memerlukan waktu beberapa detik untuk diselesaikan, setelah itu model embedding_model akan muncul di set data bqml_tutorial di panel Explorer. Karena kueri menggunakan pernyataan CREATE MODEL untuk membuat model, tidak akan ada hasil kueri.

Membuat embedding teks

Buat embedding teks dari abstrak paten menggunakan fungsi ML.GENERATE_EMBEDDING, lalu tuliskan ke tabel BigQuery agar dapat ditelusuri.

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan berikut:

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS
   SELECT * FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.embedding_model`,
     (
       SELECT *, abstract AS content
       FROM `patents-public-data.google_patents_research.publications`
       WHERE LENGTH(abstract) > 0 AND LENGTH(title) > 0 AND country = 'Singapore'
     )
   )
   WHERE LENGTH(ml_generate_embedding_status) = 0;
   

Pembuatan penyematan menggunakan fungsi ML.GENERATE_EMBEDDING mungkin gagal karena quotas LLM Vertex AI atau tidak tersedianya layanan. Detail error ditampilkan di kolom ml_generate_embedding_status. Kolom ml_generate_embedding_status yang kosong menunjukkan pembuatan penyematan yang berhasil.

Untuk metode pembuatan embedding teks alternatif di BigQuery, lihat Tutorial menyematkan teks dengan model TensorFlow terlatih.

Membuat indeks vektor

Untuk membuat indeks vektor, gunakan pernyataan bahasa definisi data (DDL) CREATE VECTOR INDEX:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan SQL berikut:

   CREATE OR REPLACE VECTOR INDEX my_index
   ON `bqml_tutorial.embeddings`(ml_generate_embedding_result)
   OPTIONS(index_type = 'IVF',
     distance_type = 'COSINE',
     ivf_options = '{"num_lists":500}')
   

Memverifikasi pembuatan indeks vektor

Indeks vektor diisi secara asinkron. Anda dapat memeriksa apakah indeks siap digunakan dengan membuat kueri tampilan INFORMATION_SCHEMA.VECTOR_INDEXES dan memverifikasi bahwa nilai kolom coverage_percentage lebih besar dari 0 dan nilai kolom last_refresh_time bukan NULL.

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan SQL berikut:

   SELECT table_name, index_name, index_status,
   coverage_percentage, last_refresh_time, disable_reason
   FROM `PROJECT_ID.bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES`
   

   Ganti PROJECT_ID dengan project ID Anda.

Melakukan penelusuran kemiripan teks menggunakan indeks vektor

Gunakan fungsi VECTOR_SEARCH untuk menelusuri 5 paten relevan teratas yang cocok dengan embedding yang dihasilkan dari kueri teks. Model yang Anda gunakan untuk membuat embedding dalam kueri ini harus sama dengan yang digunakan untuk membuat embedding pada tabel yang Anda bandingkan. Jika tidak, hasil penelusuran tidak akan akurat.

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan SQL berikut:

   SELECT query.query, base.publication_number, base.title, base.abstract
   FROM VECTOR_SEARCH(
     TABLE `bqml_tutorial.embeddings`, 'ml_generate_embedding_result',
     (
     SELECT ml_generate_embedding_result, content AS query
     FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.embedding_model`,
     (SELECT 'improving password security' AS content))
     ),
     top_k => 5, options => '{"fraction_lists_to_search": 0.01}')
   

   Outputnya mirip dengan hal berikut ini:

   +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+
   |            query            | publication_number |                       title                     |                      abstract                   |
   +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+
   | improving password security | SG-120868-A1       | Data storage device security method and a...    | Methods for improving security in data stora... |
   | improving password security | SG-10201610585W-A  | Passsword management system and process...      | PASSSWORD MANAGEMENT SYSTEM AND PROCESS ...     |
   | improving password security | SG-10201901821S-A  | Method and apparatus for unlocking user...      | METHOD AND APPARATUS FOR UNLOCKING USER...      |
   | improving password security | SG-10201902412Q-A  | Password protection question setting method...  | PASSWORD PROTECTION QUESTION SETTING METHOD...  |
   | improving password security | SG-194509-A1       | System and method for web-based...              | A security authentication method comprises...   |
   +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+
   

Membuat model jarak jauh untuk pembuatan teks

Buat model jarak jauh yang merepresentasikan model pembuatan teks Vertex AI yang dihosting:

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan berikut:

   CREATE OR REPLACE MODEL `bqml_tutorial.text_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'text-bison-32k');
   

   Ganti kode berikut:

   • LOCATION: lokasi koneksi
   • CONNECTION_ID: ID koneksi BigQuery

     Saat Anda melihat detail koneksi di Konsol Google Cloud, CONNECTION_ID adalah nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat, yang ditampilkan di Connection ID, misalnya projects/myproject/locations/connection_location/connections/myconnection

   Kueri memerlukan waktu beberapa detik untuk diselesaikan, setelah itu model text_model akan muncul di set data bqml_tutorial di panel Explorer. Karena kueri menggunakan pernyataan CREATE MODEL untuk membuat model, tidak akan ada hasil kueri.

Membuat teks yang ditambah dengan hasil penelusuran vektor

Masukkan hasil penelusuran sebagai perintah untuk membuat teks dengan fungsi ML.GENERATE_TEXT

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan berikut:

   SELECT ml_generate_text_llm_result AS generated, prompt
   FROM ML.GENERATE_TEXT(
     MODEL `bqml_tutorial.text_model`,
     (
       SELECT CONCAT(
         'Propose some project ideas to improve user password security using the context below: ',
         STRING_AGG(
           FORMAT("patent title: %s, patent abstract: %s", base.title, base.abstract),
           ',\n')
         ) AS prompt,
       FROM VECTOR_SEARCH(
         TABLE `bqml_tutorial.embeddings`, 'text_embedding',
         (
           SELECT ml_generate_embedding_result, content AS query
           FROM ML.GENERATE_EMBEDDING(
             MODEL `bqml_tutorial.embedding_model`,
            (SELECT 'improving password security' AS content)
           )
         ),
       top_k => 5, options => '{"fraction_lists_to_search": 0.01}')
     ),
     STRUCT(600 AS max_output_tokens, TRUE AS flatten_json_output));
   

   Outputnya mirip dengan hal berikut ini:

   +------------------------------------------------+------------------------------------------------------------+
   |            generated                           | prompt                                                     |
   +------------------------------------------------+------------------------------------------------------------+
   | **Project Ideas to Improve User Password       | Propose some project ideas to improve user password        |
   | Security**                                     | security using the context below: patent title: Data       |
   |                                                | storage device security method and apparatus, patent       |
   | 1. **Develop a password manager that uses a    | abstract: Methods for improving security in data storage   |
   | synchronization method to keep encrypted       | devices are disclosed. The methods include a ...,          |
   | passwords changing at each transmission...     | patent title: Active new password entry dialog with        |
   | 2. **Create a new password entry dialog that   | compact visual indication of adherence to password policy, |
   | provides a compact visual indication of        | patent abstract: An active new password entry dialog...,   |
   | adherence to password policies.** ...          | patent title: Method and system for protecting a password  |
   | 3. **Develop a system for protecting a         | during an authentication process, patent abstract: A system|
   | password during an authentication process by   | for providing security for a personal password during an   |
   | using representative characters to disguise... | authenticationprocess. The system combines the use of...   |
   +------------------------------------------------+------------------------------------------------------------+
    

Pembersihan

1. Di konsol Google Cloud, buka halaman Manage resource.

   Buka Manage resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.