Registra e chiama i modelli di IA remoti nella panoramica di AlloyDB

Questa pagina descrive i concetti chiave che devi conoscere prima di registrare un endpoint del modello di IA e richiamare le previsioni con la gestione degli endpoint del modello.

Per registrare gli endpoint dei modelli remoti con AlloyDB Omni, consulta Registrare e chiamare modelli di IA remoti in AlloyDB Omni.

Panoramica

La gestione degli endpoint dei modelli è una funzionalità di AI di AlloyDB che include funzioni e operatori che ti aiutano a registrare e gestire i metadati dei modelli di AI. Puoi registrare un endpoint del modello, gestire i metadati degli endpoint del modello nel tuo cluster di database ed effettuare chiamate agli endpoint del modello remoto utilizzando query SQL.

La gestione degli endpoint dei modelli fornisce l'estensione google_ml_integration che include funzioni che consentono di registrare i metadati relativi ai modelli di IA con AlloyDB. Questi metadati registrati vengono utilizzati per generare embedding vettoriali o invocare le previsioni.

Il motore di query AI di AlloyDB è una suite di funzioni basate sulla gestione degli endpoint dei modelli (anteprima) e aggiunge il supporto per gli operatori di IA che ti consentono di combinare frasi in linguaggio naturale con query SQL, come ai.if() per filtri e join, ai.rank() per l'ordinamento e ai.generate() per generare riepiloghi dei dati. Inoltre, aggiunge il supporto per i modelli multimodali e di ranking di Vertex AI.

Ecco alcuni esempi di tipi di modelli che puoi registrare utilizzando la gestione degli endpoint dei modelli:

  • Modelli generici e embedding di testo di Vertex AI
  • Modello multimodale di Vertex AI (anteprima)
  • Modelli di ranking di Vertex AI (anteprima)
  • Modelli di embedding forniti da fornitori di terze parti, come Hugging Face o OpenAI
  • Modelli di embedding di testo ospitati in modo personalizzato, inclusi modelli self-hosted o disponibili tramite endpoint privati
  • Modelli generici con un'API basata su JSON, ad esempio il modello facebook/bart-large-mnli ospitato su Hugging Face, il modello gemini-pro di Model Garden di Vertex AI o i modelli claude di Anthropic

Casi d'uso

Puoi chiamare gli endpoint del modello registrati per interagire con i dati esistenti nel tuo database al fine di generare embedding o previsioni. Ecco alcuni casi d'uso delle applicazioni:

  • Inferenza in tempo reale con applicazione delle transazioni: fornisce consigli in tempo reale in base alla cronologia di navigazione corrente dell'utente e ai contenuti del carrello.
  • Identifica il sentiment e genera riepiloghi: per un database di recensioni dei clienti, genera riepiloghi o identifica il sentiment principale per ogni recensione.
  • Sistemi di ricerca e recupero intelligenti: crea sistemi di ricerca per un database di knowledge base interna e utilizza il linguaggio naturale negli operatori SQL anziché nelle parole chiave.
  • Esperienza utente personalizzata: ottimizza una piattaforma di contenuti per personalizzare in modo dinamico i contenuti mostrati a ciascun utente in base alle sue interazioni passate.

Per ulteriori informazioni sui casi d'uso dell'AI di AlloyDB, consulta Casi d'uso dell'AI di AlloyDB.

Come funziona

Puoi utilizzare la gestione degli endpoint dei modelli per registrare un endpoint del modello conforme a quanto segue:

  • L'input e l'output del modello supportano il formato JSON.
  • Il modello può essere chiamato utilizzando il protocollo REST.

Quando registri un endpoint del modello con la gestione degli endpoint del modello, viene registrato ogni endpoint con un ID modello univoco che hai fornito come riferimento al modello.

Puoi utilizzare l'ID endpoint del modello per eseguire query sui modelli al fine di:

  • Genera incorporamenti per tradurre i prompt di testo in vettori numerici. Puoi memorizzare gli embedding generati come dati vettoriali quando l'estensione vector è attivata nel database. Per maggiori informazioni, consulta Eseguire query e indicizzare gli embedding con pgvector.

  • Genera embedding multimodali per tradurre in embedding dati multimodali come testo, immagini e video. (Anteprima)

  • Classifica o assegna un punteggio a un elenco di elementi in una query in base a criteri indicati utilizzando il linguaggio naturale. (Anteprima)

  • Richiama le previsioni utilizzando SQL.

Concetti fondamentali

Prima di iniziare a utilizzare la gestione degli endpoint dei modelli, comprendi i concetti necessari per connetterti ai modelli e utilizzarli.

Schemi

Le tue applicazioni possono accedere alla gestione degli endpoint del modello utilizzando l'google_ml_integration estensione. L'estensione google_ml_integration include funzioni nello schema public, google_ml e ai. Tutte le funzioni sono incluse nello schema google_ml e alcune sono disponibili negli schemi public e ai.

Per ulteriori informazioni sugli schemi, consulta la sezione Schemi.

Fornitore del modello

Provider di modelli indica i provider di hosting dei modelli supportati. L'impostazione del fornitore del modello è facoltativa, ma facilita la gestione degli endpoint del modello identificando il fornitore e formattando automaticamente le intestazioni per i modelli supportati.

Per ulteriori informazioni sul fornitore del modello, consulta Fornitore del modello.

Tipo di modello

Tipo di modello indica il tipo di modello di IA. L'estensione supporta l'embedding del testo nonché qualsiasi tipo di modello generico. I tipi di modelli supportati che puoi impostare quando registri un endpoint del modello sono text-embedding e generic.

L'impostazione del tipo di modello è facoltativa quando registri endpoint di modelli generici, poiché generic è il tipo di modello predefinito.

Per saperne di più sul tipo di modello, consulta Tipo di modello.

Autenticazione

I tipi di autenticazione indicano il tipo di autenticazione che puoi utilizzare per connetterti alla gestione degli endpoint del modello utilizzando l'estensione google_ml_integration. L'impostazione dell'autenticazione è facoltativa ed è obbligatoria solo se devi autenticarti per accedere al modello.

Per ulteriori informazioni sull'autenticazione, consulta Autenticazione.

Funzioni di previsione

Le funzioni di previsione sono funzioni SQL che ti consentono di interagire con i modelli di IA dal database AlloyDB. Queste funzioni ti consentono di utilizzare query SQL standard per inviare dati a un endpoint del modello e generare embedding o predizioni.

Per ulteriori informazioni sulle funzioni di previsione, consulta Funzioni di previsione.

Funzioni di operatore

L'estensione google_ml_integration include le seguenti funzioni di operatore, che utilizzano Gemini predefinito per utilizzare il linguaggio naturale negli operatori SQL.

Per ulteriori informazioni sulle funzioni degli operatori, consulta Funzioni degli operatori.

Funzioni di trasformazione

Le funzioni di trasformazione modificano l'input in un formato compreso dal modello e convertono la risposta del modello nel formato previsto dalla funzione di previsione. Le funzioni di trasformazione vengono utilizzate per registrare l'endpoint del modello text-embedding senza il supporto integrato. La firma delle funzioni di trasformazione dipende dall'input previsto dal modello.

Per ulteriori informazioni sulle funzioni di trasformazione, consulta Funzioni di trasformazione.

Funzione di generazione dell'intestazione HTTP

La funzione di generazione dell'intestazione HTTP genera l'output in coppie chiave-valore JSON che vengono utilizzate come intestazioni HTTP. La firma della funzione di previsione definisce le firme della funzione di generazione dell'intestazione.

Per ulteriori informazioni sulla funzione di generazione dell'intestazione HTTP, consulta la funzione di generazione dell'intestazione HTTP.

Passaggi successivi