Mendaftarkan dan memanggil model AI jarak jauh di ringkasan AlloyDB

Halaman ini menjelaskan konsep utama yang harus Anda ketahui sebelum mendaftarkan endpoint model AI dan memanggil prediksi dengan Pengelolaan endpoint model.

Untuk mendaftarkan endpoint model jarak jauh dengan AlloyDB Omni, lihat Mendaftarkan dan memanggil model AI jarak jauh di AlloyDB Omni.

Ringkasan

Pengelolaan endpoint model adalah fitur AI AlloyDB yang mencakup fungsi dan operator yang membantu Anda mendaftarkan dan mengelola metadata model AI. Anda dapat mendaftarkan endpoint model, mengelola metadata endpoint model di cluster database, dan melakukan panggilan ke endpoint model jarak jauh menggunakan kueri SQL.

Pengelolaan endpoint model menyediakan ekstensi google_ml_integration yang mencakup fungsi yang memungkinkan Anda mendaftarkan metadata terkait model AI dengan AlloyDB. Metadata terdaftar ini digunakan untuk membuat sematan vektor atau memanggil prediksi.

Mesin kueri AI AlloyDB adalah serangkaian fungsi yang dibangun berdasarkan pengelolaan endpoint model (Pratinjau), dan menambahkan dukungan untuk operator AI yang memungkinkan Anda menggabungkan frasa natural language dengan kueri SQL, seperti ai.if() untuk filter dan gabungan, ai.rank() untuk pengurutan, dan ai.generate() untuk membuat ringkasan data Anda. Selain itu, fitur ini menambahkan dukungan untuk model multimodal dan model peringkat Vertex AI.

Berikut beberapa jenis model contoh yang dapat Anda daftarkan menggunakan pengelolaan endpoint model:

  • Embedding teks dan model generik Vertex AI
  • Model Multimodal Vertex AI (Pratinjau)
  • Model ranking Vertex AI (Pratinjau)
  • Model embedding yang disediakan oleh penyedia pihak ketiga, seperti Hugging Face atau OpenAI
  • Model embedding teks yang dihosting secara kustom, termasuk model yang dihosting sendiri atau model yang tersedia melalui endpoint pribadi
  • Model generik dengan API berbasis JSON—misalnya, model facebook/bart-large-mnli yang dihosting di Hugging Face, model gemini-pro dari Vertex AI Model Garden, atau model claude dari Anthropic

Kasus penggunaan

Anda dapat memanggil endpoint model terdaftar untuk berinteraksi dengan data yang ada di database Anda guna membuat embedding atau prediksi. Beberapa kasus penggunaan aplikasi adalah sebagai berikut:

  • Inferensi real-time dengan aplikasi transaksi: memberikan rekomendasi real-time berdasarkan histori penjelajahan pengguna saat ini dan konten dalam keranjang.
  • Mengidentifikasi sentimen dan membuat ringkasan: untuk database ulasan pelanggan, membuat ringkasan atau mengidentifikasi sentimen utama untuk setiap ulasan.
  • Sistem penelusuran dan pengambilan cerdas: membangun sistem penelusuran untuk database pusat informasi internal, dan membuat kueri menggunakan operator SQL yang didukung AI, bukan kata kunci.
  • Pengalaman pengguna yang dipersonalisasi: mengoptimalkan platform konten untuk mempersonalisasi secara dinamis konten yang ditampilkan kepada setiap pengguna berdasarkan interaksi mereka sebelumnya.

Untuk mengetahui informasi selengkapnya tentang kasus penggunaan AI AlloyDB, lihat Kasus penggunaan AI AlloyDB.

Cara kerjanya

Anda dapat menggunakan pengelolaan endpoint model untuk mendaftarkan endpoint model yang mematuhi hal berikut:

  • Input dan output model mendukung format JSON.
  • Model dapat dipanggil menggunakan protokol REST.

Saat Anda mendaftarkan endpoint model dengan pengelolaan endpoint model, setiap endpoint akan didaftarkan dengan ID model unik yang Anda berikan sebagai referensi ke model.

Anda dapat menggunakan ID endpoint model untuk membuat kueri model guna melakukan hal berikut:

  • Membuat embedding untuk menerjemahkan perintah teks ke vektor numerik. Anda dapat menyimpan embedding yang dihasilkan sebagai data vektor saat ekstensi vector diaktifkan dalam database. Untuk mengetahui informasi selengkapnya, lihat Mengkueri dan mengindeks embedding dengan pgvector.

  • Membuat embedding multimodal untuk menerjemahkan data multimodal seperti teks, gambar, dan video ke embedding. (Pratinjau)

  • Memberi peringkat atau skor pada daftar item dalam kueri berdasarkan kriteria yang dinyatakan menggunakan bahasa alami. (Pratinjau)

  • Memanggil prediksi menggunakan SQL.

Konsep utama

Sebelum mulai menggunakan pengelolaan endpoint model, pahami konsep yang diperlukan untuk terhubung ke dan menggunakan model.

Skema

Aplikasi Anda dapat mengakses pengelolaan endpoint model menggunakan ekstensi google_ml_integration. Ekstensi google_ml_integration mencakup fungsi dalam skema public, google_ml, dan ai. Semua fungsi disertakan dalam skema google_ml, dan fungsi tertentu tersedia dalam skema public dan ai.

Untuk mengetahui informasi selengkapnya tentang skema, lihat Skema.

Penyedia model

Penyedia model menunjukkan penyedia hosting model yang didukung. Menetapkan penyedia model bersifat opsional, tetapi membantu pengelolaan endpoint model dengan mengidentifikasi penyedia, dan memformat header secara otomatis untuk model yang didukung.

Untuk mengetahui informasi selengkapnya tentang penyedia model, lihat Penyedia model.

Jenis model

Jenis model menunjukkan jenis model AI. Ekstensi ini mendukung penyematan teks serta jenis model generik apa pun. Jenis model yang didukung yang dapat Anda tetapkan saat mendaftarkan endpoint model adalah text-embedding dan generic.

Menetapkan jenis model bersifat opsional saat mendaftarkan endpoint model generik karena generic adalah jenis model default.

Untuk mengetahui informasi selengkapnya tentang jenis model, lihat Jenis model.

Autentikasi

Jenis autentikasi menunjukkan jenis autentikasi yang dapat Anda gunakan untuk terhubung ke pengelolaan endpoint model menggunakan ekstensi google_ml_integration. Menetapkan autentikasi bersifat opsional dan hanya diperlukan jika Anda perlu melakukan autentikasi untuk mengakses model Anda.

Untuk mengetahui informasi selengkapnya tentang autentikasi, lihat Autentikasi.

Fungsi prediksi

Fungsi prediksi adalah fungsi SQL yang memungkinkan Anda berinteraksi dengan model AI dari dalam database AlloyDB Anda. Fungsi ini memungkinkan Anda menggunakan kueri SQL standar untuk mengirim data ke endpoint model dan membuat sematan atau prediksi.

Untuk mengetahui informasi selengkapnya tentang fungsi prediksi, lihat Fungsi prediksi.

Fungsi operator

Ekstensi google_ml_integration mencakup fungsi operator berikut, yang menggunakan Gemini default untuk membuat kueri menggunakan operator SQL yang didukung AI.

Untuk mengetahui informasi selengkapnya tentang fungsi operator, lihat Fungsi operator.

Fungsi transformasi

Fungsi transformasi mengubah input ke format yang dipahami model, dan mengonversi respons model ke format yang diharapkan oleh fungsi prediksi. Fungsi transform digunakan saat mendaftarkan endpoint model text-embedding tanpa dukungan bawaan. Tanda tangan fungsi transformasi bergantung pada input yang diharapkan oleh model.

Untuk mengetahui informasi selengkapnya tentang fungsi transformasi, lihat Fungsi transformasi.

Fungsi pembuatan header HTTP

Fungsi pembuatan header HTTP menghasilkan output dalam key-value pair JSON yang digunakan sebagai header HTTP. Tanda tangan fungsi prediksi menentukan tanda tangan fungsi pembuatan header.

Untuk mengetahui informasi selengkapnya tentang fungsi pembuatan header HTTP, lihat Fungsi pembuatan header HTTP.

Langkah berikutnya