Registra y llama a modelos de IA remotos en la descripción general de AlloyDB

En esta página, se describen los conceptos clave que debes conocer antes de registrar un extremo de modelo de IA y de invocar predicciones con la administración de extremos de modelos.

Para registrar extremos de modelos remotos con AlloyDB Omni, consulta Registra y llama a modelos de IA remotos en AlloyDB Omni.

Descripción general

La administración de extremos de modelos es una función de IA de AlloyDB que incluye funciones y operadores que te ayudan a registrar y administrar los metadatos de los modelos de IA. Puedes registrar un extremo de modelo, administrar los metadatos del extremo de modelo en tu clúster de bases de datos y realizar llamadas a los extremos de modelo remotos con consultas SQL.

La administración de extremos de modelos proporciona la extensión google_ml_integration que incluye funciones que te permiten registrar los metadatos relacionados con los modelos de IA con AlloyDB. Estos metadatos registrados se usan para generar incorporaciones de vectores o invocar predicciones.

El motor de consultas de IA de AlloyDB es un paquete de funciones que se basa en la administración de extremos de modelos (Versión preliminar) y agrega compatibilidad con operadores de IA que te permiten combinar frases de lenguaje natural con consultas SQL, como ai.if() para filtros y uniones, ai.rank() para ordenar y ai.generate() para generar resúmenes de tus datos. También agrega compatibilidad con los modelos de clasificación y multimodales de Vertex AI.

Estos son algunos de los tipos de modelos de ejemplo que puedes registrar con la administración de extremos de modelos:

  • Incorporación de texto y modelos genéricos de Vertex AI
  • Modelo multimodal de Vertex AI (versión preliminar)
  • Modelos de clasificación de Vertex AI (Versión preliminar)
  • Modelos de incorporación proporcionados por proveedores externos, como Hugging Face o OpenAI
  • Modelos de incorporación de texto alojados de forma personalizada, incluidos los modelos alojados por el cliente o los modelos disponibles a través de extremos privados
  • Modelos genéricos con una API basada en JSON (por ejemplo, el modelo facebook/bart-large-mnli alojado en Hugging Face, el modelo gemini-pro de Model Garden de Vertex AI o los modelos claude de Anthropic)

Casos de uso

Puedes llamar a los extremos del modelo registrado para interactuar con los datos existentes en tu base de datos y generar incorporaciones o predicciones. Estos son algunos casos de uso de la aplicación:

  • Inferencia en tiempo real con la aplicación de transacciones: Proporciona recomendaciones en tiempo real según el historial de navegación actual del usuario y el contenido del carrito.
  • Identifica el sentimiento y genera resúmenes: En el caso de una base de datos de opiniones de clientes, genera resúmenes o identifica el sentimiento clave de cada opinión.
  • Sistemas de búsqueda y recuperación inteligentes: Crea sistemas de búsqueda para una base de datos de base de conocimiento interna y usa lenguaje natural en operadores de SQL en lugar de palabras clave.
  • Experiencias del usuario personalizadas: Optimiza una plataforma de contenido para personalizar de forma dinámica el contenido que se muestra a cada usuario en función de sus interacciones anteriores.

Para obtener más información sobre los casos de uso de AlloyDB AI, consulta Casos de uso de AlloyDB AI.

Cómo funciona

Puedes usar la administración de extremos de modelos para registrar un extremo de modelo que cumpla con lo siguiente:

  • La entrada y salida del modelo admiten el formato JSON.
  • Se puede llamar al modelo con el protocolo REST.

Cuando registras un extremo de modelo con la administración de extremos de modelos, se registra cada extremo con un ID de modelo único que proporcionaste como referencia para el modelo.

Puedes usar el ID de extremo del modelo para consultar modelos y hacer lo siguiente:

  • Genera embeddings para traducir instrucciones de texto en vectores numéricos. Puedes almacenar las incorporaciones generadas como datos vectoriales cuando la extensión vector está habilitada en la base de datos. Para obtener más información, consulta Consulta y indexa embeddings con pgvector.

  • Genera incorporaciones multimodales para traducir datos multimodales, como texto, imágenes y videos, a incorporaciones. (Vista previa)

  • Clasifica o asigna una puntuación a una lista de elementos en una consulta según un criterio expresado en lenguaje natural. (Vista previa)

  • Invoca predicciones con SQL.

Conceptos clave

Antes de comenzar a usar la administración de extremos de modelos, comprende los conceptos necesarios para conectarte a los modelos y usarlos.

Esquemas

Tus aplicaciones pueden acceder a la administración de extremos de modelos con la extensión google_ml_integration. La extensión google_ml_integration incluye funciones en el esquema public, google_ml y ai. Todas las funciones se incluyen en el esquema google_ml, y algunas están disponibles en los esquemas public y ai.

Para obtener más información sobre los esquemas, consulta Esquemas.

Proveedor de modelos

Proveedor de modelos: Indica los proveedores de hosting de modelos compatibles. Configurar el proveedor de modelos es opcional, pero ayuda a la administración de extremos de modelos, ya que identifica al proveedor y aplica formato automáticamente a los encabezados de los modelos compatibles.

Para obtener más información sobre el proveedor de modelos, consulta Proveedor de modelos.

Tipo de modelo

Tipo de modelo indica el tipo de modelo de IA. La extensión admite la incorporación de texto, así como cualquier tipo de modelo genérico. Los tipos de modelos compatibles que puedes configurar cuando registras un extremo de modelo son text-embedding y generic.

Es opcional configurar el tipo de modelo cuando se registran extremos de modelos genéricos, ya que generic es el tipo de modelo predeterminado.

Para obtener más información sobre el tipo de modelo, consulta Tipo de modelo.

Autenticación

Los tipos de autenticación indican el tipo de autenticación que puedes usar para conectarte a la administración de extremos de modelos con la extensión google_ml_integration. La configuración de la autenticación es opcional y solo se requiere si necesitas autenticarte para acceder a tu modelo.

Para obtener más información sobre la autenticación, consulta Autenticación.

Funciones de predicción

Las funciones de predicción son funciones de SQL que te permiten interactuar con modelos de IA desde tu base de datos de AlloyDB. Estas funciones te permiten usar consultas SQL estándar para enviar datos a un extremo de modelo y generar incorporaciones o predicciones.

Para obtener más información sobre las funciones de predicción, consulta Funciones de predicción.

Funciones de operador

La extensión google_ml_integration incluye las siguientes funciones de operador, que usan Gemini predeterminado para usar lenguaje natural en operadores de SQL.

Para obtener más información sobre las funciones de operador, consulta Funciones de operador.

Funciones de transformación

Las funciones de transformación modifican la entrada a un formato que el modelo comprende y convierten la respuesta del modelo al formato que espera la función de predicción. Las funciones de transformación se usan cuando se registra el extremo del modelo text-embedding sin compatibilidad integrada. La firma de las funciones de transformación depende de la entrada que espera el modelo.

Para obtener más información sobre las funciones de transformación, consulta Funciones de transformación.

Función de generación de encabezados HTTP

La función de generación de encabezados HTTP genera el resultado en pares clave-valor JSON que se usan como encabezados HTTP. La firma de la función de predicción define las firmas de la función de generación de encabezados.

Para obtener más información sobre la función de generación de encabezados HTTP, consulta Función de generación de encabezados HTTP.

¿Qué sigue?