Invoca predicciones con la administración de extremos de modelos

Selecciona una versión de la documentación:

En esta página, se describe cómo invocar predicciones con los extremos del modelo registrados en la administración de extremos del modelo.

Antes de comenzar

Asegúrate de haber registrado el extremo del modelo en la administración de extremos del modelo. Para obtener más información, consulta Cómo registrar y llamar a modelos de IA remotos en AlloyDB Omni.

Invoca predicciones para modelos genéricos

Usa la función de SQL google_ml.predict_row() para llamar a un extremo del modelo genérico registrado y, así, invocar predicciones.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Reemplaza lo siguiente:

  • MODEL_ID: Es el ID del modelo que definiste cuando registraste el extremo del modelo.
  • REQUEST_BODY: Los parámetros de la función de predicción, en formato JSON

Ejemplos

En esta sección, se incluyen algunos ejemplos para invocar predicciones con extremos de modelos registrados.

Para generar predicciones para un extremo del modelo gemini-1.5-pro:streamGenerateContent registrado, ejecuta la siguiente instrucción:

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Para generar predicciones para un extremo del modelo facebook/bart-large-mnli registrado en Hugging Face, ejecuta la siguiente instrucción:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

Para generar predicciones para un extremo del modelo claude-3-opus-20240229 de Anthropic registrado, ejecuta la siguiente instrucción:

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');