Halaman ini diterjemahkan oleh Cloud Translation API.

Panduan memulai Vector Search

Dalam panduan memulai Vertex AI Vector Search, pelajari cara membuat indeks dari set data contoh dari situs pakaian e-commerce fiktif. Untuk tujuan panduan memulai ini, embedding sudah dibuat. Panduan mulai cepat ini dimaksudkan sebagai cara untuk mulai membuat dan men-deploy indeks dalam waktu kurang dari 30 menit.

Prasyarat

Tutorial ini memerlukan project yang ditautkan dengan akun penagihan. Google Cloud Untuk membuat project baru, lihat Menyiapkan project dan lingkungan pengembangan. Anda harus membuat project dan menyiapkan akun penagihan.

Pilih lingkungan runtime

Tutorial ini dapat dijalankan di Colab atau Vertex AI Workbench.

Colab: Buka tutorial ini di Colab
Vertex AI Workbench: Buka tutorial ini di Vertex AI Workbench. Jika ini adalah pertama kalinya Anda menggunakan Vertex AI Workbench di project Google Cloud , buka bagian Vertex AI Workbench di konsol Google Cloud , lalu klik Aktifkan untuk mengaktifkan Notebooks API.

Untuk melihat notebook ini di GitHub, lihat GitHub.

Biaya untuk menyelesaikan panduan memulai ini

Untuk menyelesaikan tutorial ini, Anda akan dikenai biaya sekitar beberapa dolar AS. Harga layanan Google Cloud yang digunakan dalam tutorial ini tersedia di halaman berikut:

Anda juga dapat menggunakan kalkulator harga untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan.

Penyiapan

Sebelum mulai menggunakan Vertex AI, Anda perlu menyiapkan hal berikut:

Instal Vertex AI SDK for Python
Menetapkan variabel lingkungan
Mengautentikasi (khusus Colab)
Menetapkan izin IAM
Aktifkan API

Menginstal Vertex AI SDK untuk Python

Vertex AI dan Cloud Storage API dapat diakses dengan berbagai cara, termasuk REST API dan Vertex AI SDK untuk Python. Dalam tutorial ini, Vertex AI SDK untuk Python digunakan.

!pip install --upgrade --user google-cloud-aiplatform>=1.29.0 google-cloud-storage

Untuk menggunakan paket yang baru diinstal di runtime Jupyter ini, Anda harus memulai ulang runtime, seperti yang ditunjukkan dalam cuplikan kode berikut.

# Restart kernel after installs so that your environment can access the new packages
import IPython

app = IPython.Application.instance()
app.kernel.do_shutdown(True)

Variabel lingkungan

Tetapkan variabel lingkungan. Jika diminta, ganti your-project-id dengan project ID Anda, lalu jalankan sel.

# get project ID
PROJECT_ID = ! gcloud config get-value project
PROJECT_ID = PROJECT_ID[0]
LOCATION = "us-central1"
if PROJECT_ID == "(unset)":
    print(f"Please set the project ID manually below")

# define project information
if PROJECT_ID == "(unset)":
  PROJECT_ID = "[your-project-id]"

# generate a unique id for this session
from datetime import datetime
UID = datetime.now().strftime("%m%d%H%M")

Autentikasi (khusus Colab)

Jika menjalankan notebook ini di Colab, Anda harus menjalankan autentikasi sel berikut. Langkah ini tidak diperlukan jika Anda menggunakan Vertex AI Workbench karena sudah diautentikasi sebelumnya.

import sys

# if it's Colab runtime, authenticate the user with Google Cloud
if 'google.colab' in sys.modules:
    from google.colab import auth
    auth.authenticate_user()

Menetapkan izin IAM

Anda perlu menambahkan izin akses ke akun layanan default untuk menggunakan layanan.

Buka halaman IAM di konsol Google Cloud .
Cari akun utama untuk akun layanan komputasi default. Tampilannya akan terlihat seperti ini: compute@developer.gserviceaccount.com
Klik tombol edit dan berikan peran berikut kepada akun layanan komputasi default: Vertex AI User, Storage Admin, dan Service Usage Admin.

Mengaktifkan API

Jalankan perintah berikut untuk mengaktifkan API untuk Compute Engine, Vertex AI, dan Cloud Storage dengan project Google Cloud ini.

! gcloud services enable compute.googleapis.com aiplatform.googleapis.com storage.googleapis.com --project {PROJECT_ID}

Menyiapkan data sampel

Dalam tutorial ini, kita menggunakan set data TheLook yang memiliki tabel produk dengan sekitar 5.000 baris data produk sintetis untuk situs pakaian e-commerce fiktif.

Dari tabel ini, kami telah menyiapkan file product-embs.json.

File ini dalam format JSONL dan setiap baris memiliki ID untuk ID produk, nama untuk nama produk, dan penyematan untuk penyematan nama produk dalam 768 dimensi yang sebelumnya dibuat dengan penyematan Vertex AI untuk teks.

Penyematan teks merepresentasikan makna nama produk pakaian. Dalam tutorial ini, kita menggunakan Vector Search untuk menyelesaikan penelusuran semantik item. Kode contoh ini dapat digunakan sebagai dasar untuk sistem rekomendasi cepat lainnya yang memungkinkan Anda dengan cepat menemukan "produk lain yang serupa dengan produk ini".

Untuk mempelajari lebih lanjut cara membuat sematan dari data di tabel BigQuery dan menyimpannya dalam file JSON, lihat Memulai Penggunaan Text Embeddings + Vertex AI Vector Search.

Siapkan data di Cloud Storage

Untuk membuat indeks dengan Vertex AI, tempatkan file embedding di bucket Cloud Storage. Kode berikut menyelesaikan dua tugas:

Membuat bucket Cloud Storage.
Menyalin file contoh ke bucket Cloud Storage Anda.

BUCKET_URI = f"gs://{PROJECT_ID}-vs-quickstart-{UID}"

! gcloud storage buckets create $BUCKET_URI --location=$LOCATION --project=$PROJECT_ID
! gcloud storage cp "gs://github-repo/data/vs-quickstart/product-embs.json" $BUCKET_URI

Untuk menggunakan Vector Search dalam menjalankan kueri, Anda juga perlu menyalin file embedding ke direktori lokal:

! gcloud storage cp "gs://github-repo/data/vs-quickstart/product-embs.json" . # for query tests

Membangun dan men-deploy indeks Vector Search

Pelajari cara membuat indeks, membuat endpoint indeks, lalu men-deploy indeks ke endpoint.

Membuat indeks

Sekarang saatnya memuat embedding ke Vector Search. API tersedia di bagian paket aiplatform SDK.

# init the aiplatform package
from google.cloud import aiplatform
aiplatform.init(project=PROJECT_ID, location=LOCATION)

Buat MatchingEngineIndex dengan fungsi create_tree_ah_index (Matching Engine adalah nama Vector Search sebelumnya).

# create Index
my_index = aiplatform.MatchingEngineIndex.create_tree_ah_index(
    display_name = f"vs-quickstart-index-{UID}",
    contents_delta_uri = BUCKET_URI,
    dimensions = 768,
    approximate_neighbors_count = 100,
)

Metode MatchingEngineIndex.create_tree_ah_index() membangun indeks. Proses ini memerlukan waktu kurang dari 10 menit jika set datanya kecil, atau sekitar 60 menit atau lebih, bergantung pada ukuran set data. Anda dapat memeriksa status pembuatan indeks di konsol Vector Search Google Cloud

Lihat Indeks

Parameter untuk membuat indeks:

contents_delta_uri: URI direktori Cloud Storage tempat Anda menyimpan file JSON embedding
dimensions: ukuran dimensi setiap embedding. Dalam hal ini, nilainya adalah 768 karena Anda menggunakan embedding dari API embedding teks.
approximate_neighbors_count: jumlah item serupa yang ingin Anda ambil dalam kasus umum

Untuk mempelajari lebih lanjut cara membuat indeks dan parameter yang tersedia, lihat Membuat dan mengelola indeks Anda

Membuat endpoint indeks dan men-deploy indeks

Untuk menggunakan indeks, Anda perlu membuat endpoint indeks. Instance ini berfungsi sebagai server yang menerima permintaan kueri untuk indeks Anda.

## create `IndexEndpoint`
my_index_endpoint = aiplatform.MatchingEngineIndexEndpoint.create(
    display_name = f"vs-quickstart-index-endpoint-{UID}",
    public_endpoint_enabled = True
)

Dengan endpoint indeks, deploy indeks dengan menentukan ID indeks yang di-deploy secara unik.

DEPLOYED_INDEX_ID = f"vs_quickstart_deployed_{UID}"

# deploy the Index to the Index Endpoint
my_index_endpoint.deploy_index(
    index = my_index, deployed_index_id = DEPLOYED_INDEX_ID
)

Jika ini adalah pertama kalinya men-deploy indeks ini ke endpoint indeks, perlu waktu sekitar 30 menit untuk membangun dan memulai backend secara otomatis. Untuk melihat status deployment indeks, di bagian Vertex AI pada konsolGoogle Cloud , buka bagian Deploy dan Gunakan. Pilih Indeks.

Lihat Indeks

Menjalankan kueri dengan Penelusuran Vektor

Dalam kode berikut, embedding ditemukan untuk nama produk tertentu, dan nama produk serupa ditemukan dengan Penelusuran Vektor.

Mendapatkan penyematan untuk menjalankan kueri

Pertama, muat file JSON embedding untuk membuat dict nama produk dan embedding.

import json

# build dicts for product names and embs
product_names = {}
product_embs = {}
with open('product-embs.json') as f:
    for l in f.readlines():
        p = json.loads(l)
        id = p['id']
        product_names[id] = p['name']
        product_embs[id] = p['embedding']

Dengan kamus product_embs, Anda dapat menentukan ID produk untuk mendapatkan penyematan produk tersebut.

 # Get the embedding for ID 6523 "cloudveil women's excursion short"
 # You can also try with other IDs such as 12711, 18090, 19536 and 11863
query_emb = product_embs['6523']

Menjalankan kueri

Teruskan sematan ke metode Endpoint.find_neighbors() untuk menemukan nama produk serupa.

# run query
response = my_index_endpoint.find_neighbors(
    deployed_index_id = DEPLOYED_INDEX_ID,
    queries = [query_emb],
    num_neighbors = 10
)

# show the results
for idx, neighbor in enumerate(response[0]):
    print(f"{neighbor.distance:.2f} {product_names[neighbor.id]}")

Metode find_neighbors() hanya memerlukan milidetik untuk mengambil item serupa bahkan saat Anda memiliki miliaran item pada indeks, berkat algoritma ScaNN. Vector Search juga mendukung penskalaan otomatis yang dapat secara otomatis mengubah ukuran jumlah node berdasarkan permintaan workload Anda.

Pembersihan

Jika Anda menggunakan project Cloud sendiri, bukan project sementara di Qwiklabs, pastikan untuk menghapus semua indeks, endpoint indeks, dan bucket Cloud Storage setelah menyelesaikan tutorial ini. Jika tidak, Anda mungkin akan dikenai biaya tak terduga dari resource yang tersisa.

Jika Anda menggunakan Workbench, Anda mungkin juga perlu menghapus notebook dari konsol.


# wait for a confirmation
input("Press Enter to delete Index Endpoint, Index and Cloud Storage bucket:")

# delete Index Endpoint
my_index_endpoint.undeploy_all()
my_index_endpoint.delete(force = True)

# delete Index
my_index.delete()

# delete Cloud Storage bucket
! gcloud storage rm {BUCKET_URI} --recursive

Utilitas

Pembuatan atau deployment indeks dapat memerlukan waktu beberapa saat, dan selama waktu tersebut Anda mungkin kehilangan koneksi dengan runtime Colab. Jika koneksi terputus, alih-alih membuat atau men-deploy ulang indeks baru, Anda dapat memeriksa konsol Vector SearchGoogle Cloud dan menggunakan indeks yang ada untuk melanjutkan.

Mendapatkan indeks yang ada

Untuk mendapatkan objek indeks yang sudah ada, ganti your-index-id berikut dengan ID indeks, lalu jalankan sel. Anda bisa mendapatkan ID indeks dengan memeriksa konsol Vector Search Google Cloud . Di bagian Vertex AI pada konsol Google Cloud , buka bagian Deploy and Use. Pilih Indeks.

Lihat Indeks

my_index_id = "[your-index-id]"
my_index = aiplatform.MatchingEngineIndex(my_index_id)

Mendapatkan endpoint indeks yang ada

Untuk mendapatkan objek endpoint indeks yang sudah ada, ganti your-index-endpoint-id berikut dengan ID endpoint indeks, lalu jalankan sel. Anda bisa mendapatkan endpoint indeks dengan memeriksa konsol Vector Search Google Cloud . Di bagian Vertex AI pada konsol Google Cloud , buka bagian Deploy dan Gunakan. Pilih Index Endpoints.

Lihat Index Endpoints

my_index_endpoint_id = "[your-index-endpoint-id]"
my_index_endpoint = aiplatform.MatchingEngineIndexEndpoint(my_index_endpoint_id)

Panduan memulai Vector Search Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Prasyarat

Pilih lingkungan runtime

Biaya untuk menyelesaikan panduan memulai ini

Penyiapan

Menginstal Vertex AI SDK untuk Python

Variabel lingkungan

Autentikasi (khusus Colab)

Menetapkan izin IAM

Mengaktifkan API

Menyiapkan data sampel

Siapkan data di Cloud Storage

Membangun dan men-deploy indeks Vector Search

Membuat indeks

Membuat endpoint indeks dan men-deploy indeks

Menjalankan kueri dengan Penelusuran Vektor

Mendapatkan penyematan untuk menjalankan kueri

Menjalankan kueri

Pembersihan

Utilitas

Mendapatkan indeks yang ada

Mendapatkan endpoint indeks yang ada

Panduan memulai Vector Search