Vorhersagen mit der Modellendpunktverwaltung aufrufen

Auf dieser Seite wird eine Vorschau beschrieben, mit der Sie das Registrieren eines KI-Modellendpunkts und das Aufrufen von Vorhersagen mit der Modellendpunktverwaltung testen können. Informationen zur Verwendung von KI-Modellen in Produktionsumgebungen finden Sie unter Generative KI-Anwendungen mit AlloyDB AI erstellen.

Nachdem die Modellendpunkte in der Modellendpunktverwaltung hinzugefügt und registriert wurden, können Sie mit der Modell-ID auf sie verweisen, um Vorhersagen aufzurufen.

Hinweise

Achten Sie darauf, dass Sie Ihren Modellendpunkt in der Modellendpunktverwaltung registriert haben. Weitere Informationen finden Sie unter Modellendpunkt bei der Modellendpunktverwaltung registrieren.

Vorhersagen für generische Modelle aufrufen

Verwenden Sie die SQL-Funktion google_ml.predict_row(), um einen registrierten generischen Modellendpunkt aufzurufen und Vorhersagen zu generieren. Sie können die Funktion google_ml.predict_row() mit jedem Modelltyp verwenden.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Ersetzen Sie Folgendes:

• MODEL_ID: Die Modell-ID, die Sie bei der Registrierung des Modellendpunkts definiert haben.
• REQUEST_BODY: Die Parameter für die Vorhersagefunktion im JSON-Format.

Beispiele

In diesem Abschnitt finden Sie einige Beispiele für das Aufrufen von Vorhersagen über registrierte Modellendpunkte.

Führen Sie die folgende Anweisung aus, um Vorhersagen für einen registrierten gemini-pro-Modellendpunkt zu generieren:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Führen Sie die folgende Anweisung aus, um Vorhersagen für einen registrierten facebook/bart-large-mnli-Modellendpunkt auf Hugging Face zu generieren:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );