Invocar predicciones con la gestión de endpoints de modelos

En esta página se describe una vista previa que te permite experimentar con el registro de un endpoint de modelo de IA y la invocación de predicciones con la gestión de endpoints de modelos. Para usar modelos de IA en entornos de producción, consulta el artículo Crea aplicaciones de IA generativa con AlloyDB AI.

Una vez que se hayan añadido y registrado los endpoints del modelo en la gestión de endpoints de modelos, podrás hacer referencia a ellos mediante el ID del modelo para invocar predicciones.

Antes de empezar

Asegúrate de haber registrado tu endpoint de modelo en la gestión de endpoints de modelos. Para obtener más información, consulta Registrar un endpoint de modelo con la gestión de endpoints de modelos.

Invocar predicciones de modelos genéricos

Usa la función SQL google_ml.predict_row() para llamar a un endpoint de modelo genérico registrado e invocar predicciones. Puedes usar la función google_ml.predict_row() con cualquier tipo de modelo.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Haz los cambios siguientes:

• MODEL_ID: el ID del modelo que definiste al registrar el endpoint del modelo.
• REQUEST_BODY: los parámetros de la función de predicción en formato JSON.

Ejemplos

En esta sección se incluyen algunos ejemplos de cómo invocar predicciones mediante endpoints de modelos registrados.

Para generar predicciones de un endpoint de modelo gemini-pro registrado, ejecuta la siguiente instrucción:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Para generar predicciones de un endpoint de modelo facebook/bart-large-mnli registrado en Hugging Face, ejecuta la siguiente instrucción:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );