Invocar previsões com o gerenciamento de endpoints de modelo

Nesta página, descrevemos um pré-lançamento que permite testar o registro de um endpoint de modelo de IA e invocar previsões com o gerenciamento de endpoints de modelo. Para usar modelos de IA em ambientes de produção, consulte Criar aplicativos de IA generativa usando a IA do AlloyDB.

Depois que os endpoints de modelo forem adicionados e registrados no gerenciamento de endpoints de modelo, você poderá referenciá-los usando o ID do modelo para invocar previsões.

Antes de começar

Verifique se você registrou o endpoint de modelo no gerenciamento de endpoints de modelo. Para mais informações, consulte Registrar um endpoint de modelo no gerenciamento de endpoints de modelo.

Invocar previsões para modelos genéricos

Use a função SQL google_ml.predict_row() para chamar um endpoint de modelo genérico registrado e invocar previsões. É possível usar a função google_ml.predict_row() com qualquer tipo de modelo.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Substitua o seguinte:

• MODEL_ID: o ID do modelo definido ao registrar o endpoint de modelo.
• REQUEST_BODY: os parâmetros para a chamada de previsão, no formato JSON

Exemplos

Alguns exemplos de como invocar previsões usando endpoints de modelo são listados nesta seção.

Para gerar previsões para um endpoint de modelo gemini-pro registrado, execute a seguinte instrução:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Para gerar previsões para um endpoint de modelo facebook/bart-large-mnli registrado no Hugging Face, execute a seguinte instrução:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );