AutoSxS 파이프라인을 실행하여 쌍별 모델 기반 평가 수행

요약

summarization 태스크에는 4,096개의 입력 토큰 한도가 있습니다.

summarization의 평가 기준 목록은 다음과 같습니다.

질의 응답

question_answering 태스크에는 4,096개의 입력 토큰 한도가 있습니다.

question_answering의 평가 기준 목록은 다음과 같습니다.

Gemini

Gemini 모델의 경우 모델 프롬프트 매개변수의 키는 contents(필수) 및 system_instruction(선택사항)이며, 이는 Gemini 요청 본문 스키마와 일치합니다.

model_a_prompt_parameters={
    'contents': {
        'column': 'context'
    },
    'system_instruction': {'template': '{{ default_instruction }}'},
},

text-bison

예를 들어 text-bison은 입력에 '프롬프트'를 사용하고 출력에는 '콘텐츠'를 사용합니다. 다음 단계를 따르세요.

1. 평가 중인 모델에 필요한 입력과 출력을 식별합니다.
2. 입력을 모델 프롬프트 매개변수로 정의합니다.
3. 출력을 응답 열에 전달합니다.

model_a_prompt_parameters={
    'prompt': {
        'template': {
            'Answer the following question from the point of view of a college professor: {{ context }}\n{{ question }}'
        },
    },
},
response_column_a='content',  # Column in Model A response.
response_column_b='model_b_response',  # Column in eval dataset.

REST

모델 평가 작업을 만들려면 pipelineJobs 메서드를 사용하여 POST 요청을 전송합니다.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

• PIPELINEJOB_DISPLAYNAME : pipelineJob의 표시 이름입니다.
• PROJECT_ID : 파이프라인 구성요소를 실행하는 Google Cloud 프로젝트입니다.
• LOCATION: 파이프라인 구성요소를 실행하는 리전입니다. us-central1가 지원됩니다.
• OUTPUT_DIR: 평가 출력을 저장할 Cloud Storage URI입니다.
• EVALUATION_DATASET : BigQuery 테이블 또는 평가 예시가 포함된 JSONL 데이터 세트에 대한 Cloud Storage 경로의 쉼표로 구분된 목록입니다.
• TASK : 평가 태스크로, [summarization, question_answering] 중 하나일 수 있습니다.
• ID_COLUMNS : 고유한 평가 예를 구분하는 열입니다.
• AUTORATER_PROMPT_PARAMETERS : 열 또는 템플릿에 매핑된 자동 평가 도구 프롬프트 매개변수입니다. 예상되는 매개변수는 inference_instruction(작업 수행 방법에 대한 세부정보) 및 inference_context(작업 수행을 위해 참조할 콘텐츠)입니다. 예를 들어 {'inference_context': {'column': 'my_prompt'}}는 자동 평가 도구의 컨텍스트에 대한 평가 데이터 세트의 'my_prompt' 열을 사용합니다.
• RESPONSE_COLUMN_A : 사전 정의된 예측이 포함된 평가 데이터 세트의 열 이름 또는 예측을 포함하는 모델 A 출력의 열 이름 중 하나입니다. 값이 제공되지 않으면 올바른 모델 출력 열 이름을 추론하려고 시도합니다.
• RESPONSE_COLUMN_B : 사전 정의된 예측이 포함된 평가 데이터 세트의 열 이름 또는 예측을 포함하는 모델 B 출력의 열 이름 중 하나입니다. 값이 제공되지 않으면 올바른 모델 출력 열 이름을 추론하려고 시도합니다.
• MODEL_A(선택사항): 정규화된 모델 리소스 이름(projects/{project}/locations/{location}/models/{model}@{version}) 또는 게시자 모델 리소스 이름(publishers/{publisher}/models/{model})입니다. 모델 A 응답이 지정된 경우 이 매개변수를 제공하면 안 됩니다.
• MODEL_B(선택사항): 정규화된 모델 리소스 이름(projects/{project}/locations/{location}/models/{model}@{version}) 또는 게시자 모델 리소스 이름(publishers/{publisher}/models/{model})입니다. 모델 B 응답이 지정된 경우 이 매개변수를 제공하면 안 됩니다.
• MODEL_A_PROMPT_PARAMETERS(선택사항): 열 또는 템플릿에 매핑된 모델 A의 프롬프트 템플릿 매개변수입니다. 모델 A 응답이 사전 정의되어 있으면 이 매개변수를 제공해서는 안 됩니다. 예를 들어 {'prompt': {'column': 'my_prompt'}}는 prompt라는 프롬프트 매개변수에 평가 데이터 세트의 my_prompt 열을 사용합니다.
• MODEL_B_PROMPT_PARAMETERS(선택사항): 열 또는 템플릿에 매핑된 모델 B의 프롬프트 템플릿 매개변수입니다. 모델 B 응답이 사전 정의되어 있으면 이 매개변수를 제공해서는 안 됩니다. 예를 들어 {'prompt': {'column': 'my_prompt'}}는 prompt라는 프롬프트 매개변수에 평가 데이터 세트의 my_prompt 열을 사용합니다.
• JUDGMENTS_FORMAT (선택사항): 판단을 작성할 형식입니다. jsonl(기본값), json 또는 bigquery일 수 있습니다.
• BIGQUERY_DESTINATION_PREFIX: 지정된 형식이 bigquery인 경우 판단을 작성할 BigQuery 테이블입니다.

JSON 요청 본문

  {
    "displayName": "PIPELINEJOB_DISPLAYNAME",
    "runtimeConfig": {
        "gcsOutputDirectory": "gs://OUTPUT_DIR",
        "parameterValues": {
            "evaluation_dataset": "EVALUATION_DATASET",
            "id_columns": ["ID_COLUMNS"],
            "task": "TASK",
            "autorater_prompt_parameters": AUTORATER_PROMPT_PARAMETERS,
            "response_column_a": "RESPONSE_COLUMN_A",
            "response_column_b": "RESPONSE_COLUMN_B",
            "model_a": "MODEL_A",
            "model_a_prompt_parameters": MODEL_A_PROMPT_PARAMETERS,
            "model_b": "MODEL_B",
            "model_b_prompt_parameters": MODEL_B_PROMPT_PARAMETERS,
            "judgments_format": "JUDGMENTS_FORMAT",
            "bigquery_destination_prefix":BIGQUERY_DESTINATION_PREFIX,
        },
    },
    "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default"
  }

curl을 사용하여 요청을 전송합니다.

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs"

응답

  "state": "PIPELINE_STATE_PENDING",
  "labels": {
    "vertex-ai-pipelines-run-billing-id": "1234567890123456789"
  },
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://my-evaluation-bucket/output",
    "parameterValues": {
      "evaluation_dataset": "gs://my-evaluation-bucket/output/data.json",
      "id_columns": [
        "context"
      ],
      "task": "question_answering",
      "autorater_prompt_parameters": {
        "inference_instruction": {
          "template": "Answer the following question: {{ question }} }."
        },
        "inference_context": {
          "column": "context"
        }
      },
      "response_column_a": "",
      "response_column_b": "response_b",
      "model_a": "publishers/google/models/text-bison@002",
      "model_a_prompt_parameters": {
        "prompt": {
          "template": "Answer the following question from the point of view of a college professor: {{ question }}\n{{ context }} }"
        }
      },
      "model_b": "",
      "model_b_prompt_parameters": {}
    }
  },
  "serviceAccount": "123456789012-compute@developer.gserviceaccount.com",
  "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default",
  "templateMetadata": {
    "version": "sha256:7366b784205551ed28f2c076e841c0dbeec4111b6df16743fc5605daa2da8f8a"
  }
}

Python용 Vertex AI SDK

Python용 Vertex AI SDK를 설치하거나 업데이트하는 방법은 Python용 Vertex AI SDK 설치를 참조하세요. Python API에 관한 자세한 내용은 Vertex AI SDK for Python를 참조하세요.

파이프라인 매개변수에 관한 자세한 내용은 Google Cloud 파이프라인 구성요소 참고 문서를 참조하세요.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

• PIPELINEJOB_DISPLAYNAME : pipelineJob의 표시 이름입니다.
• PROJECT_ID : 파이프라인 구성요소를 실행하는 Google Cloud 프로젝트입니다.
• LOCATION: 파이프라인 구성요소를 실행하는 리전입니다. us-central1가 지원됩니다.
• OUTPUT_DIR: 평가 출력을 저장할 Cloud Storage URI입니다.
• EVALUATION_DATASET : BigQuery 테이블 또는 평가 예시가 포함된 JSONL 데이터 세트에 대한 Cloud Storage 경로의 쉼표로 구분된 목록입니다.
• TASK : 평가 태스크로, [summarization, question_answering] 중 하나일 수 있습니다.
• ID_COLUMNS : 고유한 평가 예를 구분하는 열입니다.
• AUTORATER_PROMPT_PARAMETERS : 열 또는 템플릿에 매핑된 자동 평가 도구 프롬프트 매개변수입니다. 예상되는 매개변수는 inference_instruction(작업 수행 방법에 대한 세부정보) 및 inference_context(작업 수행을 위해 참조할 콘텐츠)입니다. 예를 들어 {'inference_context': {'column': 'my_prompt'}}는 자동 평가 도구의 컨텍스트에 대한 평가 데이터 세트의 'my_prompt' 열을 사용합니다.
• RESPONSE_COLUMN_A : 사전 정의된 예측이 포함된 평가 데이터 세트의 열 이름 또는 예측을 포함하는 모델 A 출력의 열 이름 중 하나입니다. 값이 제공되지 않으면 올바른 모델 출력 열 이름을 추론하려고 시도합니다.
• RESPONSE_COLUMN_B : 사전 정의된 예측이 포함된 평가 데이터 세트의 열 이름 또는 예측을 포함하는 모델 B 출력의 열 이름 중 하나입니다. 값이 제공되지 않으면 올바른 모델 출력 열 이름을 추론하려고 시도합니다.
• MODEL_A(선택사항): 정규화된 모델 리소스 이름(projects/{project}/locations/{location}/models/{model}@{version}) 또는 게시자 모델 리소스 이름(publishers/{publisher}/models/{model})입니다. 모델 A 응답이 지정된 경우 이 매개변수를 제공하면 안 됩니다.
• MODEL_B(선택사항): 정규화된 모델 리소스 이름(projects/{project}/locations/{location}/models/{model}@{version}) 또는 게시자 모델 리소스 이름(publishers/{publisher}/models/{model})입니다. 모델 B 응답이 지정된 경우 이 매개변수를 제공하면 안 됩니다.
• MODEL_A_PROMPT_PARAMETERS(선택사항): 열 또는 템플릿에 매핑된 모델 A의 프롬프트 템플릿 매개변수입니다. 모델 A 응답이 사전 정의되어 있으면 이 매개변수를 제공해서는 안 됩니다. 예를 들어 {'prompt': {'column': 'my_prompt'}}는 prompt라는 프롬프트 매개변수에 평가 데이터 세트의 my_prompt 열을 사용합니다.
• MODEL_B_PROMPT_PARAMETERS(선택사항): 열 또는 템플릿에 매핑된 모델 B의 프롬프트 템플릿 매개변수입니다. 모델 B 응답이 사전 정의되어 있으면 이 매개변수를 제공해서는 안 됩니다. 예를 들어 {'prompt': {'column': 'my_prompt'}}는 prompt라는 프롬프트 매개변수에 평가 데이터 세트의 my_prompt 열을 사용합니다.
• JUDGMENTS_FORMAT (선택사항): 판단을 작성할 형식입니다. jsonl(기본값), json 또는 bigquery일 수 있습니다.
• BIGQUERY_DESTINATION_PREFIX: 지정된 형식이 bigquery인 경우 판단을 작성할 BigQuery 테이블입니다.

import os
from google.cloud import aiplatform
parameters = {
    'evaluation_dataset': 'EVALUATION_DATASET',
    'id_columns': ['ID_COLUMNS'],
    'task': 'TASK',
    'autorater_prompt_parameters': AUTORATER_PROMPT_PARAMETERS,
    'response_column_a': 'RESPONSE_COLUMN_A',
    'response_column_b': 'RESPONSE_COLUMN_B',
    'model_a': 'MODEL_A',
    'model_a_prompt_parameters': MODEL_A_PROMPT_PARAMETERS,
    'model_b': 'MODEL_B',
    'model_b_prompt_parameters': MODEL_B_PROMPT_PARAMETERS,
    'judgments_format': 'JUDGMENTS_FORMAT',
    'bigquery_destination_prefix':
    BIGQUERY_DESTINATION_PREFIX,
}
aiplatform.init(project='PROJECT_ID', location='LOCATION', staging_bucket='gs://OUTPUT_DIR')
aiplatform.PipelineJob(
    display_name='PIPELINEJOB_DISPLAYNAME',
    pipeline_root=os.path.join('gs://OUTPUT_DIR', 'PIPELINEJOB_DISPLAYNAME'),
    template_path=(
      'https://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default'),
    parameter_values=parameters,
).run()

콘솔

Google Cloud 콘솔을 사용하여 쌍별 모델 평가 작업을 만들려면 다음 단계를 수행합니다.

1. Google 파운데이션 모델로 시작하거나 Vertex AI Model Registry에 이미 있는 모델을 사용하세요.

   • Google 파운데이션 모델을 평가하려면 다음 단계를 따르세요.

     1. Vertex AI Model Garden으로 이동하여 text-bison와 같이 쌍 평가를 지원하는 모델을 선택합니다.

        Model Garden으로 이동

     2. 평가를 클릭합니다.

     3. 표시되는 메뉴에서 Select를 클릭하여 모델 버전을 선택합니다.

     4. 사본이 없는 경우 모델 저장 창에 Vertex AI Model Registry에 모델 사본을 저장하라는 메시지가 표시될 수 있습니다. 모델 이름을 입력하고 저장을 클릭합니다.

     5. 평가 만들기 페이지가 표시됩니다. 방법 평가 단계에서 이 모델을 다른 모델과 비교하여 평가를 선택합니다.

     6. 계속을 클릭합니다.

   • Vertex AI Model Registry에서 기존 모델을 평가하려면 다음 단계를 따르세요.

     1. Vertex AI Model Registry 페이지로 이동합니다.

        Vertex AI Model Registry로 이동

     2. 평가하려는 모델의 이름을 클릭합니다. 모델 유형에 쌍별 평가가 지원되는지 확인합니다. 예: text-bison

     3. 평가 탭에서 SxS를 클릭합니다.

     4. SxS 평가 만들기를 클릭합니다.

2. 평가 생성 페이지의 각 단계에서 필수 정보를 입력하고 계속을 클릭합니다.

   1. 평가 데이터 세트 단계에서 평가 목표와 선택한 모델과 비교할 모델을 선택합니다. 평가 데이터 세트를 선택하고 ID 열(응답 열)을 입력합니다.

   2. 모델 설정 단계에서 데이터 세트에 이미 있는 모델 응답을 사용할지 아니면 Vertex AI 일괄 예측을 사용하여 응답을 생성할지 지정합니다. 두 모델의 응답 열을 지정합니다. Vertex AI 일괄 예측 옵션의 경우 추론 모델 프롬프트 매개변수를 지정할 수 있습니다.

   3. 자동 평가 도구 설정 단계에서 자동 평가 도구 프롬프트 매개변수와 평가의 출력 위치를 입력합니다.

3. 평가 시작을 클릭합니다.

모델 비교

참조 1p 모델에 대해 조정된 자사(1p) 모델을 평가합니다.

두 모델 모두에서 추론이 동시에 실행되도록 지정할 수 있습니다.

이 코드 샘플은 Vertex Model Registry의 조정된 모델을 동일한 레지스트리의 참조 모델과 비교하여 평가합니다.

# Evaluation dataset schema:
#   my_question: str
#   my_context: str
parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters': {
      'inference_instruction': {'column': 'my_question'},
      'inference_context': {'column': 'my_context'},
  },
    'model_a': 'publishers/google/models/text-bison@002',
    'model_a_prompt_parameters': {QUESTION: {'template': '{{my_question}}\nCONTEXT: {{my_context}}'}},
  'response_column_a': 'content',
    'model_b': 'projects/abc/locations/abc/models/tuned_bison',
    'model_b_prompt_parameters': {'prompt': {'template': '{{my_context}}\n{{my_question}}'}},
  'response_column_b': 'content',
}

예측 비교

참조 3p 모델과 비교하여 조정된 타사(3p) 모델을 평가합니다.

모델 응답을 직접 제공하여 추론을 건너뛸 수 있습니다.

이 코드 샘플은 참조 3p 모델과 비교하여 조정된 3p 모델을 평가합니다.

# Evaluation dataset schema:
#   my_question: str
#   my_context: str
#   response_b: str

parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters':
        'inference_instruction': {'column': 'my_question'},
        'inference_context': {'column': 'my_context'},
    },
    'response_column_a': 'content',
    'response_column_b': 'response_b',
}

정렬 확인

지원되는 모든 작업은 자동 평가 도구 응답이 인간 선호도와 일치하는지 확인하기 위해 인간 평가자 데이터를 사용하여 벤치마킹되었습니다. AutoSxS 사용 사례를 벤치마킹하려면 정렬 집계 통계를 출력하는 AutoSxS에 직접 인간 선호도 데이터를 제공하세요.

인간 선호도 데이터 세트에 대한 정렬을 확인하려면 자동 평가 도구에 두 출력(예측 결과)을 모두 지정할 수 있습니다. 추론 결과를 제공할 수도 있습니다.

이 코드 샘플은 자동 평가 도구의 결과와 설명이 예상과 일치하는지 확인합니다.

# Evaluation dataset schema:
#  my_question: str
#  my_context: str
#   response_a: str
#   response_b: str
#   actual: str
parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters': {
      'inference_instruction': {'column': 'my_question'},
      'inference_context': {'column': 'my_context'},
  },
  'response_column_a': 'response_a',
  'response_column_b': 'response_b',
  'human_preference_column': 'actual',
}