모델 엔드포인트 관리로 예측 호출

이 페이지에서는 모델 엔드포인트 관리에 등록된 모델 엔드포인트를 사용하여 예측을 호출하는 방법을 설명합니다.

시작하기 전에

모델 엔드포인트 관리에 모델 엔드포인트를 등록했는지 확인합니다. 자세한 내용은 AlloyDB Omni에서 원격 AI 모델 등록 및 호출을 참고하세요.

일반 모델의 예측 호출

google_ml.predict_row() SQL 함수를 사용하여 등록된 일반 모델 엔드포인트를 호출하여 예측을 호출합니다.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

다음을 바꿉니다.

  • MODEL_ID: 모델 엔드포인트를 등록할 때 정의한 모델 ID입니다.
  • REQUEST_BODY: JSON 형식의 예측 함수 매개변수입니다.

예시

이 섹션에는 등록된 모델 엔드포인트를 사용하여 예측을 호출하는 몇 가지 예가 포함되어 있습니다.

등록된 gemini-1.5-pro:streamGenerateContent 모델 엔드포인트에 대한 예측을 생성하려면 다음 문을 실행합니다.

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Hugging Face에 등록된 facebook/bart-large-mnli 모델 엔드포인트에 대한 예측을 생성하려면 다음 문을 실행합니다.

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

등록된 Anthropic claude-3-opus-20240229 모델 엔드포인트에 대한 예측을 생성하려면 다음 문을 실행합니다.

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');