Invocar predicciones con la gestión de endpoints de modelos

Selecciona una versión de la documentación:

En esta página se describe cómo invocar predicciones mediante los endpoints de modelo registrados en la gestión de endpoints de modelo.

Antes de empezar

Asegúrate de haber registrado tu endpoint de modelo en la gestión de endpoints de modelos. Para obtener más información, consulta Registrar y llamar a modelos de IA remotos en AlloyDB Omni.

Invocar predicciones de modelos genéricos

Usa la función SQL google_ml.predict_row() para llamar a un endpoint de modelo genérico registrado e invocar predicciones.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Haz los cambios siguientes:

  • MODEL_ID: el ID del modelo que definiste al registrar el endpoint del modelo.
  • REQUEST_BODY: los parámetros de la función de predicción en formato JSON.

Ejemplos

En esta sección se incluyen algunos ejemplos de cómo invocar predicciones mediante endpoints de modelos registrados.

Para generar predicciones de un endpoint de modelo gemini-1.5-pro:streamGenerateContent registrado, ejecuta la siguiente instrucción:

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Para generar predicciones de un endpoint de modelo facebook/bart-large-mnli registrado en Hugging Face, ejecuta la siguiente instrucción:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

Para generar predicciones de un endpoint de modelo de Anthropic claude-3-opus-20240229 registrado, ejecuta la siguiente instrucción:

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');