Memanggil prediksi dengan pengelolaan endpoint model

Halaman ini menjelaskan pratinjau yang memungkinkan Anda bereksperimen dengan mendaftarkan endpoint model AI dan memanggil prediksi dengan Pengelolaan endpoint model. Untuk menggunakan model AI di lingkungan produksi, lihat Membangun aplikasi AI generatif menggunakan AlloyDB AI.

Setelah endpoint model ditambahkan dan didaftarkan di Pengelolaan endpoint model, Anda dapat mereferensikannya menggunakan ID model untuk memanggil prediksi.

Sebelum memulai

Pastikan Anda telah mendaftarkan endpoint model dengan Pengelolaan endpoint model. Untuk mengetahui informasi selengkapnya, lihat Mendaftarkan endpoint model dengan pengelolaan endpoint model

Meminta prediksi untuk model generik

Gunakan fungsi SQL google_ml.predict_row() untuk memanggil endpoint model generik terdaftar guna memanggil prediksi. Anda dapat menggunakan fungsi google_ml.predict_row() dengan jenis model apa pun.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Ganti kode berikut:

• MODEL_ID: ID model yang Anda tentukan saat mendaftarkan endpoint model.
• REQUEST_BODY: parameter ke fungsi prediksi, dalam format JSON.

Contoh

Beberapa contoh untuk memanggil prediksi menggunakan endpoint model terdaftar tercantum di bagian ini.

Untuk membuat prediksi untuk endpoint model gemini-pro yang terdaftar, jalankan pernyataan berikut:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Untuk membuat prediksi untuk endpoint model facebook/bart-large-mnli terdaftar di Hugging Face, jalankan pernyataan berikut:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );