Registra e chiama i modelli di IA remoti nella panoramica di AlloyDB

Prima di registrare un endpoint del modello di AI e richiamare le previsioni con Scopri i concetti chiave per registrare gli endpoint del modello di AI e richiamare le previsioni con la gestione degli endpoint dei modelli. Questo documento fornisce una panoramica di gestione, casi d'uso e concetti degli endpoint modello, come schemi, fornitori e tipi di modelli, autenticazione e vari tipi di funzioni.

Per registrare gli endpoint dei modelli remoti con AlloyDB Omni, consulta Registrare e chiamare modelli di AI remoti in AlloyDB Omni.

Panoramica

La gestione degli endpoint dei modelli è una funzionalità di AlloyDB AI che include funzioni e operatori che ti aiutano a registrare e gestire i metadati dei modelli di AI. Puoi registrare un endpoint del modello, gestire i metadati dell'endpoint del modello nel cluster di database ed effettuare chiamate agli endpoint del modello remoto utilizzando query SQL.

La gestione degli endpoint dei modelli fornisce l'estensione google_ml_integration che include funzioni che consentono di registrare i metadati relativi ai modelli di AI con AlloyDB. Questi metadati registrati vengono utilizzati per generare incorporamenti vettoriali o richiamare le previsioni.

Il motore di query AlloyDB AI è una suite di funzioni che si basano sulla gestione degli endpoint del modello (anteprima) e aggiungono il supporto per gli operatori di AI che consentono di combinare frasi in linguaggio naturale con query SQL, come ai.if() per filtri e join, ai.rank() per l'ordinamento e ai.generate() per generare riepiloghi dei dati. Inoltre, aggiunge il supporto per i modelli multimodali e di ranking di Vertex AI.

Di seguito sono riportati alcuni tipi di modelli di esempio che puoi registrare utilizzando la gestione degli endpoint dei modelli:

  • Modelli generici e di incorporamento di testo Vertex AI
  • Modello multimodale Vertex AI (anteprima)
  • Modelli di ranking di Vertex AI (anteprima)
  • Modelli di incorporamento forniti da provider di terze parti, come Hugging Face o OpenAI
  • Modelli di text embedding ospitati in modo personalizzato, inclusi modelli self-hosted o modelli disponibili tramite endpoint privati
  • Modelli generici con un'API basata su JSON, ad esempio il modello facebook/bart-large-mnli ospitato su Hugging Face, il modello gemini-pro di Vertex AI Model Garden o i modelli claude di Anthropic

Casi d'uso

Puoi chiamare gli endpoint del modello registrato per interagire con i dati esistenti nel database per generare incorporamenti o previsioni. Di seguito sono riportati alcuni casi d'uso dell'applicazione:

  • Inferenza in tempo reale con applicazione delle transazioni: fornisce consigli in tempo reale in base alla cronologia di navigazione corrente dell'utente e ai contenuti nel carrello.
  • Identificare il sentiment e generare riepiloghi: per un database di recensioni dei clienti, genera riepiloghi o identifica il sentiment chiave per ogni recensione.
  • Sistemi di ricerca e recupero intelligenti: crea sistemi di ricerca per un database della knowledge base interna ed esegui query utilizzando operatori SQL basati sull'AI anziché parole chiave.
  • Esperienze utente personalizzate: ottimizza una piattaforma di contenuti per personalizzare in modo dinamico i contenuti visualizzati da ciascun utente in base alle sue interazioni passate.

Per ulteriori informazioni sui casi d'uso di AlloyDB AI, consulta Casi d'uso di AlloyDB AI.

Come funziona

Puoi utilizzare la gestione degli endpoint del modello per registrare un endpoint del modello conforme a quanto segue:

  • L'input e l'output del modello supportano il formato JSON.
  • Il modello può essere chiamato utilizzando il protocollo REST.

Quando registri un endpoint modello con la gestione degli endpoint modello, ogni endpoint viene registrato con un ID modello univoco che hai fornito come riferimento al modello.

Puoi utilizzare l'ID endpoint del modello per eseguire query sui modelli per:

  • Genera incorporamenti per tradurre i prompt di testo in vettori numerici. Puoi memorizzare gli incorporamenti generati come dati vettoriali quando l'estensione vector è abilitata nel database. Per maggiori informazioni, consulta Query e indici di embedding con pgvector.

  • Genera embedding multimodali per tradurre dati multimodali come testo, immagini e video in embedding. (Anteprima)

  • Classifica o assegna un punteggio a un elenco di elementi in una query in base a un criterio indicato utilizzando il linguaggio naturale. (Anteprima)

  • Richiama le previsioni utilizzando SQL.

Concetti fondamentali

Prima di iniziare a utilizzare la gestione degli endpoint del modello, comprendi i concetti necessari per connetterti ai modelli e utilizzarli.

Schemi

Le tue applicazioni possono accedere alla gestione degli endpoint del modello utilizzando l'estensione google_ml_integration. L'estensione google_ml_integration include funzioni negli schemi public, google_ml e ai. Tutte le funzioni sono incluse nello schema google_ml e alcune sono disponibili negli schemi public e ai.

Per saperne di più sugli schemi, consulta la sezione Schemi.

Fornitore del modello

Fornitore del modello indica i provider di hosting dei modelli supportati. L'impostazione del fornitore del modello è facoltativa, ma semplifica la gestione degli endpoint del modello identificando il fornitore e formattando automaticamente le intestazioni per i modelli supportati.

Per saperne di più sul fornitore del modello, consulta Fornitore del modello.

Tipo di modello

Model type indica il tipo di modello di AI. L'estensione supporta l'incorporamento di testo e qualsiasi tipo di modello generico. I tipi di modello supportati che puoi impostare durante la registrazione di un endpoint del modello sono text-embedding e generic.

L'impostazione del tipo di modello è facoltativa quando registri endpoint di modelli generici, poiché generic è il tipo di modello predefinito.

Per ulteriori informazioni sul tipo di modello, vedi Tipo di modello.

Autenticazione

I tipi di autenticazione indicano il tipo di autenticazione che puoi utilizzare per connetterti alla gestione degli endpoint del modello utilizzando l'estensione google_ml_integration. L'impostazione dell'autenticazione è facoltativa ed è necessaria solo se devi autenticarti per accedere al modello.

Per ulteriori informazioni sull'autenticazione, consulta la sezione Autenticazione.

Funzioni di previsione

Le funzioni di previsione sono funzioni SQL che ti consentono di interagire con i modelli di AI dal database AlloyDB. Queste funzioni ti consentono di utilizzare query SQL standard per inviare dati a un endpoint del modello e generare incorporamenti o previsioni.

Per saperne di più sulle funzioni di previsione, consulta Funzioni di previsione.

Funzioni dell'operatore

L'estensione google_ml_integration include le seguenti funzioni operatore, che utilizzano Gemini predefinito per eseguire query utilizzando operatori SQL basati sull'AI.

Per saperne di più sulle funzioni degli operatori, consulta Funzioni degli operatori.

Funzioni di trasformazione

Le funzioni di trasformazione modificano l'input in un formato comprensibile per il modello e converte la risposta del modello nel formato previsto dalla funzione di previsione. Le funzioni di trasformazione vengono utilizzate durante la registrazione dell'endpoint del modello text-embedding senza supporto integrato. La firma delle funzioni di trasformazione dipende dall'input previsto dal modello.

Per ulteriori informazioni sulle funzioni di trasformazione, consulta Funzioni di trasformazione.

Funzione di generazione dell'intestazione HTTP

La funzione di generazione delle intestazioni HTTP genera l'output in coppie chiave-valore JSON che vengono utilizzate come intestazioni HTTP. La firma della funzione di previsione definisce le firme della funzione di generazione dell'intestazione.

Per saperne di più sulla funzione di generazione delle intestazioni HTTP, consulta Funzione di generazione delle intestazioni HTTP.

Passaggi successivi