Referensi pengelolaan endpoint model

Anda harus menyetel flag database google_ml_integration.enable_model_support ke on sebelum Anda dapat mulai menggunakan ekstensi.

Untuk mengetahui informasi selengkapnya, lihat Menggunakan pengelolaan endpoint Model dengan AlloyDB Omni untuk model AI.

Model

Gunakan referensi ini untuk memahami parameter fungsi yang memungkinkan Anda mengelola endpoint model.

google_ml.create_model() fungsi

Berikut cara memanggil fungsi SQL google_ml.create_model() yang digunakan untuk mendaftarkan metadata endpoint model:

  CALL
    google_ml.create_model(
      model_id => 'MODEL_ID',
      model_request_url => 'REQUEST_URL',
      model_provider => 'PROVIDER_ID',
      model_type => 'MODEL_TYPE',
      model_qualified_name => 'MODEL_QUALIFIED_NAME',
      model_auth_type => 'AUTH_TYPE',
      model_auth_id => 'AUTH_ID',
      generate_headers_fn => 'GENERATE_HEADER_FUNCTION',
      model_in_transform_fn => 'INPUT_TRANSFORM_FUNCTION',
      model_out_transform_fn => 'OUTPUT_TRANSFORM_FUNCTION');

google_ml.alter_model()

Berikut cara memanggil fungsi SQL google_ml.alter_model() yang digunakan untuk memperbarui metadata endpoint model:

    CALL
    google_ml.alter_model(
      model_id => 'MODEL_ID',
      model_request_url => 'REQUEST_URL',
      model_provider => 'PROVIDER_ID',
      model_type => 'MODEL_TYPE',
      model_qualified_name => 'MODEL_QUALIFIED_NAME',
      model_auth_type => 'AUTH_TYPE',
      model_auth_id => 'AUTH_ID',
      generate_headers_fn => 'GENERATE_HEADER_FUNCTION',
      model_in_transform_fn => 'INPUT_TRANSFORM_FUNCTION',
      model_out_transform_fn => 'OUTPUT_TRANSFORM_FUNCTION');

Untuk mengetahui informasi tentang nilai yang harus Anda tetapkan untuk setiap parameter, lihat Membuat model.

google_ml.drop_model() fungsi

Berikut cara memanggil fungsi SQL google_ml.drop_model() yang digunakan untuk menghapus endpoint model:

  CALL google_ml.drop_model('MODEL_ID');

google_ml.list_model() fungsi

Berikut ini menunjukkan cara memanggil fungsi SQL google_ml.list_model() yang digunakan untuk mencantumkan informasi endpoint model:

  SELECT google_ml.list_model('MODEL_ID');

Tampilan google_ml.model_info_view

Berikut ini menunjukkan cara memanggil tampilan google_ml.model_info_view yang digunakan untuk mencantumkan informasi endpoint model untuk semua endpoint model:

  SELECT * FROM google_ml.model_info_view;

Rahasia

Gunakan referensi ini untuk memahami parameter fungsi yang memungkinkan Anda mengelola secret.

google_ml.create_sm_secret() fungsi

Berikut cara memanggil fungsi SQL google_ml.create_sm_secret() yang digunakan untuk menambahkan secret yang dibuat di Secret Manager:

    CALL
    google_ml.create_sm_secret(
      secret_id => 'SECRET_ID',
      secret_path => 'projects/project-id/secrets/SECRET_MANAGER_SECRET_ID/versions/VERSION_NUMBER');

google_ml.alter_sm_secret() fungsi

Berikut cara memanggil fungsi SQL google_ml.alter_sm_secret() yang digunakan untuk memperbarui informasi rahasia:

  CALL
    google_ml.alter_sm_secret(
      secret_id => 'SECRET_ID',
      secret_path => 'projects/project-id/secrets/SECRET_MANAGER_SECRET_ID/versions/VERSION_NUMBER');

Untuk mengetahui informasi tentang nilai yang harus Anda tetapkan untuk setiap parameter, lihat Membuat secret.

google_ml.drop_sm_secret() fungsi

Berikut cara memanggil fungsi SQL google_ml.drop_sm_secret() yang digunakan untuk menghapus rahasia:

  CALL google_ml.drop_sm_secret('SECRET_ID');

Fungsi prediksi

Gunakan referensi ini untuk memahami parameter fungsi yang memungkinkan Anda membuat sematan atau memanggil prediksi.

google_ml.embedding() fungsi

Berikut cara membuat embedding:

SELECT
  google_ml.embedding(
    model_id => 'MODEL_ID',
    contents => 'CONTENT');

Untuk contoh kueri SQL guna membuat sematan teks, lihat Contoh fungsi transformasi untuk AlloyDB Omni.

google_ml.predict_row() fungsi

Berikut cara memanggil prediksi:

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Untuk contoh kueri SQL guna memanggil prediksi, lihat Memanggil prediksi dengan model generik.

Fungsi transformasi

Gunakan referensi ini untuk memahami parameter fungsi transformasi input dan output.

Fungsi transformasi input

Berikut ini menunjukkan tanda tangan untuk fungsi prediksi untuk endpoint model penyematan teks:

  CREATE OR REPLACE FUNCTION INPUT_TRANSFORM_FUNCTION(model_id VARCHAR(100), input_text TEXT) RETURNS JSON;

Fungsi transformasi output

Berikut ini menunjukkan tanda tangan untuk fungsi prediksi untuk endpoint model penyematan teks:

  CREATE OR REPLACE FUNCTION OUTPUT_TRANSFORM_FUNCTION(model_id VARCHAR(100), response_json JSON) RETURNS real[];

Contoh fungsi transformasi

Untuk lebih memahami cara membuat fungsi transformasi untuk endpoint model Anda, pertimbangkan endpoint model penyematan teks yang dihosting secara kustom yang memerlukan input dan output JSON.

Contoh permintaan cURL berikut membuat embedding berdasarkan perintah dan endpoint model:

  curl -m 100 -X POST https://cymbal.com/models/text/embeddings/v1 \
    -H "Content-Type: application/json" 
    -d '{"prompt": ["AlloyDB Embeddings"]}'

Contoh respons berikut ditampilkan:

[[ 0.3522231  -0.35932037  0.10156056  0.17734447 -0.11606089 -0.17266059
   0.02509351  0.20305622 -0.09787305 -0.12154685 -0.17313677 -0.08075467
   0.06821183 -0.06896557  0.1171584  -0.00931572  0.11875633 -0.00077482
   0.25604948  0.0519384   0.2034983  -0.09952664  0.10347155 -0.11935943
  -0.17872004 -0.08706985 -0.07056875 -0.05929353  0.4177883  -0.14381726
   0.07934926  0.31368294  0.12543282  0.10758053 -0.30210832 -0.02951015
   0.3908268  -0.03091059  0.05302926 -0.00114946 -0.16233777  0.1117468
  -0.1315904   0.13947351 -0.29569918 -0.12330773 -0.04354299 -0.18068913
   0.14445548  0.19481727]]

Berdasarkan input dan respons ini, kita dapat menyimpulkan hal berikut:

• Model mengharapkan input JSON melalui kolom prompt. Kolom ini menerima array input. Karena fungsi google_ml.embedding() adalah fungsi tingkat baris, fungsi ini mengharapkan satu input teks dalam satu waktu. Oleh karena itu,Anda perlu membuat fungsi transformasi input yang membuat array dengan satu elemen.

• Respons dari model adalah array embedding, satu untuk setiap input perintah ke model. Karena fungsi google_ml.embedding() adalah fungsi tingkat baris, fungsi ini menampilkan satu input dalam satu waktu. Oleh karena itu, Anda perlu membuat fungsi transformasi output yang dapat digunakan untuk mengekstrak penyematan dari array.

Contoh berikut menunjukkan fungsi transformasi input dan output yang digunakan untuk endpoint model ini saat didaftarkan dengan pengelolaan endpoint model:

CREATE OR REPLACE FUNCTION cymbal_text_input_transform(model_id VARCHAR(100), input_text TEXT)
RETURNS JSON
LANGUAGE plpgsql
AS $$
DECLARE
  transformed_input JSON;
  model_qualified_name TEXT;
BEGIN
  SELECT json_build_object('prompt', json_build_array(input_text))::JSON INTO transformed_input;
  RETURN transformed_input;
END;
$$;

CREATE OR REPLACE FUNCTION cymbal_text_output_transform(model_id VARCHAR(100), response_json JSON)
RETURNS REAL[]
LANGUAGE plpgsql
AS $$
DECLARE
  transformed_output REAL[];
BEGIN
SELECT ARRAY(SELECT json_array_elements_text(response_json->0)) INTO transformed_output;
RETURN transformed_output;
END;
$$;

Fungsi pembuatan header HTTP

Berikut tanda tangan untuk fungsi pembuatan header yang dapat digunakan dengan fungsi prediksi google_ml.embedding() saat mendaftarkan endpoint model penyematan teks lainnya.

  CREATE OR REPLACE FUNCTION GENERATE_HEADERS(model_id VARCHAR(100), input_text TEXT) RETURNS JSON;

Untuk fungsi prediksi google_ml.predict_row(), tanda tangannya adalah sebagai berikut:

CREATE OR REPLACE FUNCTION GENERATE_HEADERS(model_id TEXT, input JSON) RETURNS JSON;

Contoh fungsi pembuatan header

Untuk lebih memahami cara membuat fungsi yang menghasilkan output dalam pasangan nilai kunci JSON yang digunakan sebagai header HTTP, pertimbangkan endpoint model penyematan teks yang dihosting kustom.

Contoh permintaan cURL berikut meneruskan header HTTP version yang digunakan oleh endpoint model:

  curl -m 100 -X POST https://cymbal.com/models/text/embeddings/v1 \
      -H "Content-Type: application/json" \
      -H "version: 2024-01-01" \
      -d '{"prompt": ["AlloyDB Embeddings"]}'

Model mengharapkan input teks melalui kolom version dan menampilkan nilai versi dalam format JSON. Contoh berikut menunjukkan fungsi pembuatan header yang digunakan untuk endpoint model penyematan teks ini saat didaftarkan dengan pengelolaan endpoint model:

CREATE OR REPLACE FUNCTION header_gen_fn(model_id VARCHAR(100), input_text TEXT)
RETURNS JSON
LANGUAGE plpgsql
AS $$
BEGIN
  RETURN json_build_object('version', '2024-01-01')::JSON;
END;
$$;

Fungsi pembuatan header menggunakan Kunci API

Contoh berikut menunjukkan cara menyiapkan autentikasi menggunakan kunci API.

CREATE OR REPLACE FUNCTION header_gen_func(
  model_id VARCHAR(100),
  input_text TEXT
)
RETURNS JSON
LANGUAGE plpgsql
AS $$
#variable_conflict use_variable
BEGIN
  RETURN json_build_object('Authorization', 'API_KEY')::JSON;
END;
$$;

CREATE OR REPLACE FUNCTION header_gen_func(
  model_id VARCHAR(100),
  response_json JSON
)
RETURNS JSON
LANGUAGE plpgsql
AS $$
#variable_conflict use_variable
DECLARE
transformed_output REAL[];
BEGIN
  -- code to add Auth token to API request
RETURN json_build_object('x-api-key', 'API_KEY', 'anthropic-version', '2023-06-01')::JSON;
END;
$$;

Meminta pembuatan URL

Gunakan fungsi pembuatan URL permintaan untuk menyimpulkan URL permintaan untuk endpoint model dengan dukungan bawaan. Berikut tanda tangan untuk fungsi ini:

CREATE OR REPLACE FUNCTION GENERATE_REQUEST_URL(provider google_ml.model_provider, model_type google_ml.MODEL_TYPE, model_qualified_name VARCHAR(100), model_region VARCHAR(100) DEFAULT NULL)

Model yang didukung

Anda dapat menggunakan pengelolaan endpoint model untuk mendaftarkan endpoint model generik atau penyematan teks. Pengelolaan endpoint model juga mencakup model Vertex AI yang telah didaftarkan sebelumnya dan model dengan dukungan bawaan. Untuk mengetahui informasi selengkapnya tentang berbagai jenis model, lihat Jenis model.

Model Vertex AI yang telah didaftarkan sebelumnya

Model dengan dukungan bawaan