Vorhersagen mit der Modellendpunktverwaltung aufrufen

Wählen Sie eine Dokumentationsversion aus:

Auf dieser Seite wird beschrieben, wie Sie Vorhersagen mit den in der Modellendpunktverwaltung registrierten Modellendpunkten aufrufen.

Hinweise

Achten Sie darauf, dass Sie Ihren Modellendpunkt in der Modellendpunktverwaltung registriert haben. Weitere Informationen finden Sie unter Remote-KI-Modelle in AlloyDB Omni registrieren und aufrufen.

Vorhersagen für generische Modelle aufrufen

Verwenden Sie die SQL-Funktion google_ml.predict_row(), um einen registrierten generischen Modellendpunkt aufzurufen und Vorhersagen zu generieren.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Ersetzen Sie Folgendes:

  • MODEL_ID: Die Modell-ID, die Sie beim Registrieren des Modellendpunkts definiert haben.
  • REQUEST_BODY: Die Parameter für die Vorhersagefunktion im JSON-Format.

Beispiele

Dieser Abschnitt enthält einige Beispiele für das Aufrufen von Vorhersagen über registrierte Modellendpunkte.

Führen Sie die folgende Anweisung aus, um Vorhersagen für einen registrierten gemini-1.5-pro:streamGenerateContent-Modellendpunkt zu generieren:

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Führen Sie die folgende Anweisung aus, um Vorhersagen für einen registrierten facebook/bart-large-mnli-Modellendpunkt auf Hugging Face zu generieren:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

Führen Sie die folgende Anweisung aus, um Vorhersagen für einen registrierten Anthropic-claude-3-opus-20240229-Modellendpunkt zu generieren:

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');