Mendaftarkan dan memanggil model AI jarak jauh di ringkasan AlloyDB

Halaman ini menjelaskan konsep utama yang harus Anda ketahui sebelum mendaftarkan endpoint model AI dan memanggil prediksi dengan pengelolaan endpoint Model.

Untuk mendaftarkan endpoint model jarak jauh dengan AlloyDB Omni, lihat Mendaftarkan dan memanggil model AI jarak jauh di AlloyDB Omni.

Ringkasan

Pengelolaan endpoint model adalah fitur AI AlloyDB yang mencakup fungsi dan operator yang membantu Anda mendaftarkan dan mengelola metadata model AI. Anda dapat mendaftarkan endpoint model, mengelola metadata endpoint model di cluster database, dan melakukan panggilan ke endpoint model jarak jauh menggunakan kueri SQL.

Pengelolaan endpoint model menyediakan ekstensi google_ml_integration yang menyertakan fungsi yang memungkinkan Anda mendaftarkan metadata yang terkait dengan model AI dengan AlloyDB. Metadata terdaftar ini digunakan untuk membuat penyematan vektor atau memanggil prediksi.

Mesin kueri AI AlloyDB adalah serangkaian fungsi yang dibuat berdasarkan pengelolaan endpoint model (Pratinjau), dan menambahkan dukungan untuk operator AI yang memungkinkan Anda menggabungkan frasa bahasa alami dengan kueri SQL, seperti ai.if() untuk filter dan join, ai.rank() untuk pengurutan, dan ai.generate() untuk membuat ringkasan data Anda. Versi ini juga menambahkan dukungan untuk model multimodal dan peringkat Vertex AI.

Beberapa contoh jenis model yang dapat Anda daftarkan menggunakan pengelolaan endpoint model adalah sebagai berikut:

  • Embedding teks dan model generik Vertex AI
  • Model Multimodal Vertex AI (Pratinjau)
  • Model peringkat Vertex AI (Pratinjau)
  • Model penyematan yang disediakan oleh penyedia pihak ketiga, seperti Hugging Face atau OpenAI
  • Model penyematan teks yang dihosting secara kustom, termasuk model yang dihosting sendiri atau model yang tersedia melalui endpoint pribadi
  • Model generik dengan API berbasis JSON—misalnya, model facebook/bart-large-mnli yang dihosting di Hugging Face, model gemini-pro dari Model Garden Vertex AI, atau model claude oleh Anthropic

Kasus penggunaan

Anda dapat memanggil endpoint model terdaftar untuk berinteraksi dengan data yang ada di database Anda guna menghasilkan penyematan atau prediksi. Beberapa kasus penggunaan aplikasi adalah sebagai berikut:

  • Inferensi real-time dengan penerapan transaksi: memberikan rekomendasi real-time berdasarkan histori penjelajahan saat ini dan konten di keranjang pengguna.
  • Mengidentifikasi sentimen dan membuat ringkasan: untuk database ulasan pelanggan, membuat ringkasan atau mengidentifikasi sentimen utama untuk setiap ulasan.
  • Sistem penelusuran dan pengambilan cerdas: membuat sistem penelusuran untuk database pusat informasi internal, dan menggunakan bahasa alami dalam operator SQL, bukan kata kunci.
  • Pengalaman pengguna yang dipersonalisasi: mengoptimalkan platform konten untuk mempersonalisasi konten yang ditampilkan kepada setiap pengguna secara dinamis berdasarkan interaksi mereka sebelumnya.

Untuk mengetahui informasi selengkapnya tentang kasus penggunaan AlloyDB AI, lihat Kasus penggunaan AlloyDB AI.

Cara kerjanya

Anda dapat menggunakan pengelolaan endpoint model untuk mendaftarkan endpoint model yang mematuhi hal berikut:

  • Input dan output model mendukung format JSON.
  • Model dapat dipanggil menggunakan protokol REST.

Saat Anda mendaftarkan endpoint model dengan pengelolaan endpoint model, pengelolaan endpoint model akan mendaftarkan setiap endpoint dengan ID model unik yang Anda berikan sebagai referensi ke model.

Anda dapat menggunakan ID endpoint model untuk membuat kueri model guna melakukan hal berikut:

  • Membuat embedding untuk menerjemahkan perintah teks ke vektor numerik. Anda dapat menyimpan penyematan yang dihasilkan sebagai data vektor saat ekstensi vector diaktifkan di database. Untuk mengetahui informasi selengkapnya, lihat Mengkueri dan mengindeks penyematan dengan pgvector.

  • Buat embedding multimodal untuk menerjemahkan data multimodal seperti teks, gambar, dan video ke dalam embedding. (Pratinjau)

  • Beri peringkat atau skor daftar item dalam kueri berdasarkan kriteria yang dinyatakan menggunakan bahasa alami. (Pratinjau)

  • Panggil prediksi menggunakan SQL.

Konsep utama

Sebelum mulai menggunakan pengelolaan endpoint model, pahami konsep yang diperlukan untuk terhubung dan menggunakan model.

Skema

Aplikasi Anda dapat mengakses pengelolaan endpoint model menggunakan ekstensi google_ml_integration. Ekstensi google_ml_integration menyertakan fungsi dalam skema public, google_ml, dan ai. Semua fungsi disertakan dalam skema google_ml, dan fungsi tertentu tersedia dalam skema public dan ai.

Untuk mengetahui informasi selengkapnya tentang skema, lihat Skema.

Penyedia model

Penyedia model menunjukkan penyedia hosting model yang didukung. Menyetel penyedia model bersifat opsional, tetapi membantu pengelolaan endpoint model dengan mengidentifikasi penyedia, dan memformat header secara otomatis untuk model yang didukung.

Untuk mengetahui informasi selengkapnya tentang penyedia model, lihat Penyedia model.

Jenis model

Jenis model menunjukkan jenis model AI. Ekstensi ini mendukung penyematan teks serta jenis model umum. Jenis model yang didukung yang dapat Anda tetapkan saat mendaftarkan endpoint model adalah text-embedding dan generic.

Menetapkan jenis model bersifat opsional saat mendaftarkan endpoint model generik karena generic adalah jenis model default.

Untuk mengetahui informasi selengkapnya tentang jenis model, lihat Jenis model.

Autentikasi

Jenis autentikasi menunjukkan jenis autentikasi yang dapat Anda gunakan untuk terhubung ke pengelolaan endpoint model menggunakan ekstensi google_ml_integration. Setelan autentikasi bersifat opsional dan hanya diperlukan jika Anda perlu melakukan autentikasi untuk mengakses model.

Untuk informasi selengkapnya tentang autentikasi, lihat Autentikasi.

Fungsi prediksi

Fungsi prediksi adalah fungsi SQL yang memungkinkan Anda berinteraksi dengan model AI dari dalam database AlloyDB. Fungsi ini memungkinkan Anda menggunakan kueri SQL standar untuk mengirim data ke endpoint model dan membuat penyematan atau prediksi.

Untuk mengetahui informasi selengkapnya tentang fungsi prediksi, lihat Fungsi prediksi.

Fungsi operator

Ekstensi google_ml_integration menyertakan fungsi operator berikut, yang menggunakan Gemini default untuk menggunakan bahasa alami dalam operator SQL.

Untuk informasi selengkapnya tentang fungsi operator, lihat Fungsi operator.

Fungsi transformasi

Fungsi transformasi mengubah input ke format yang dipahami model, dan mengonversi respons model ke format yang diharapkan fungsi prediksi. Fungsi transformasi digunakan saat mendaftarkan endpoint model text-embedding tanpa dukungan bawaan. Tanda tangan fungsi transformasi bergantung pada input yang diharapkan oleh model.

Untuk mengetahui informasi selengkapnya tentang fungsi transformasi, lihat Fungsi transformasi.

Fungsi pembuatan header HTTP

Fungsi pembuatan header HTTP menghasilkan output dalam key-value pair JSON yang digunakan sebagai header HTTP. Tanda tangan fungsi prediksi menentukan tanda tangan fungsi pembuatan header.

Untuk informasi selengkapnya tentang fungsi pembuatan header HTTP, lihat Fungsi pembuatan header HTTP.

Langkah berikutnya