평가 측정항목 정의

생성형 모델 또는 애플리케이션을 평가하는 첫 번째 단계는 평가 목표를 파악하고 평가 측정항목을 정의하는 것입니다. 이 페이지에서는 사용 사례의 평가 측정항목 정의와 관련된 개념을 간략하게 설명합니다.

개요

생성형 AI 모델은 뉴스 기사 요약, 고객 문의에 응답, 코드 작성 지원 등 다양한 작업을 위한 애플리케이션을 만드는 데 사용할 수 있습니다. Vertex AI의 생성형 AI 평가 서비스를 사용하면 설명 가능한 측정항목으로 모든 모델을 평가할 수 있습니다.

예를 들어 기사를 요약하는 애플리케이션을 개발하고 있다고 가정해 보겠습니다. 특정 작업에서 애플리케이션의 성능을 평가하려면 측정하려는 기준과 점수를 매기기 위해 사용할 측정항목을 고려하세요.

• 기준: 평가하려는 단일 또는 여러 측정기준(예: conciseness, relevance, correctness, appropriate choice of words)입니다.

• 측정항목: 기준에 따라 모델 출력을 측정하는 단일 점수입니다.

Gen AI 평가 서비스는 두 가지 주요 유형의 측정항목을 제공합니다.

• 모델 기반 측정항목: Google의 모델 기반 측정항목은 심사 모델을 기준으로 후보 모델을 평가합니다. 대부분의 사용 사례에 사용되는 판단 모델은 Gemini이지만 번역 사용 사례의 경우 MetricX 또는 COMET와 같은 모델을 사용할 수도 있습니다.

  모델 기반 측정항목은 쌍별 또는 점별로 측정할 수 있습니다.

  • 점별 측정항목: 심사 모델이 평가 기준에 따라 후보 모델의 출력을 평가하도록 합니다. 예를 들어 점수는 0~5일 수 있으며, 여기서 0은 응답이 기준에 맞지 않음을 의미하고 5는 응답이 기준에 잘 맞음을 의미합니다.

  • 쌍별 측정항목: 심사 모델이 두 모델의 응답을 비교하여 더 나은 모델을 선택하도록 합니다. 이는 후보 모델을 기준 모델과 비교할 때 자주 사용됩니다. 쌍별 측정항목은 Gemini가 판단 모델인 경우에만 지원됩니다.

• 계산 기반 측정항목: 이러한 측정항목은 수학 공식을 사용하여 계산되며 모델의 출력을 정답 또는 참조와 비교합니다. 일반적으로 사용되는 계산 기반 측정항목에는 ROUGE 및 BLEU가 있습니다.

계산 기반 측정항목은 단독으로 사용하거나 모델 기반 측정항목과 함께 사용할 수 있습니다. 다음 표를 사용하여 모델 기반 측정항목 또는 계산 기반 측정항목을 사용할 시기를 결정하세요.

시작하려면 데이터 세트 준비 및 평가 실행을 참고하세요.

모델 기반 측정항목 정의

모델 기반 평가에는 머신러닝 모델을 심사 모델로 사용하여 후보 모델의 출력을 평가하는 과정이 포함됩니다.

Gemini와 같은 독점 Google 심사 모델은 품질을 보장하기 위해 인간 평가자와 함께 보정됩니다. 이러한 모델은 관리형이며 즉시 사용할 수 있습니다. 모델 기반 평가 프로세스는 제공하는 평가 측정항목에 따라 다릅니다.

모델 기반 평가는 다음 프로세스를 따릅니다.

1. 데이터 준비: 입력 프롬프트 형식으로 평가 데이터를 제공합니다. 후보 모델은 프롬프트를 수신하고 이에 상응하는 응답을 생성합니다.

2. 평가: 평가 측정항목과 생성된 응답이 심사 모델로 전송됩니다. 심사 모델은 각 응답을 개별적으로 평가하여 행 기반 평가를 제공합니다.

3. 집계 및 설명: Gen AI 평가 서비스는 이러한 개별 평가를 종합하여 전체 점수를 산출합니다. 출력에는 각 판단에 대한 연쇄 사고 추론 설명도 포함되어 선택의 근거를 간략히 설명합니다.

Gen AI 평가 서비스는 Vertex AI SDK로 모델 기반 측정항목을 설정할 수 있는 다음 옵션을 제공합니다.

예를 들어 유창하고 재미있는 대답을 반환하는 생성형 AI 애플리케이션을 개발할 수 있습니다. 이 애플리케이션의 경우 템플릿 인터페이스를 사용하여 평가할 두 가지 기준을 정의할 수 있습니다.

• 유창성: 어색한 문구나 장황한 문장을 피하면서 문장이 자연스럽게 이어집니다. 필요한 경우 전환을 효과적으로 사용하여 아이디어와 문장을 논리적으로 연결합니다.

• 엔터테인먼트: 이모티콘, 느낌표, 질문이 포함된 짧고 재미있는 텍스트를 통해 빠르고 자연스러운 커뮤니케이션과 재미를 전달합니다.

이 두 가지 기준을 측정항목으로 변환하려면 -1~1 범위의 전반적인 점수인 custom_text_quality가 필요합니다. 다음과 같이 측정항목을 정의할 수 있습니다.

# Define a pointwise metric with two criteria: Fluency and Entertaining.
custom_text_quality = PointwiseMetric(
    metric="custom_text_quality",
    metric_prompt_template=PointwiseMetricPromptTemplate(
        criteria={
            "fluency": (
                "Sentences flow smoothly and are easy to read, avoiding awkward"
                " phrasing or run-on sentences. Ideas and sentences connect"
                " logically, using transitions effectively where needed."
            ),
            "entertaining": (
                "Short, amusing text that incorporates emojis, exclamations and"
                " questions to convey quick and spontaneous communication and"
                " diversion."
            ),
        },
        rating_rubric={
            "1": "The response performs well on both criteria.",
            "0": "The response is somewhat aligned with both criteria",
            "-1": "The response falls short on both criteria",
        },
    ),
)

측정항목 프롬프트 템플릿의 전체 목록은 평가를 위한 측정항목 프롬프트 템플릿을 참고하세요.

번역 모델 평가

Gen AI 평가 서비스는 다음과 같은 번역 작업 평가 측정항목을 제공합니다.

• MetricX

• COMET

• BLEU

MetricX 및 COMET는 번역 작업에 맞게 학습된 점별 모델 기반 측정항목입니다. NMT, TranslationLLM 또는 Gemini 모델의 출력 여부와 관계없이 콘텐츠의 번역 모델 결과의 품질과 정확성을 평가할 수 있습니다.

Gemini를 판사 모델로 사용하여 MetricX, COMET 또는 BLEU와 함께 모델의 유창성, 일관성, 상세성, 텍스트 품질을 평가할 수도 있습니다.

• MetricX는 Google에서 개발한 오류 기반 측정항목으로, 번역의 품질을 나타내는 0~25 사이의 부동 소수점 점수를 예측합니다. MetricX는 참조 기반 및 참조 무료 (QE) 메서드로 모두 사용할 수 있습니다. 이 측정항목을 사용할 때는 점수가 낮을수록 오류가 적다는 의미이므로 점수가 낮을수록 좋습니다.

• COMET는 0~1 사이의 점수를 제공하는 참조 기반 회귀 접근 방식을 사용합니다. 여기서 1은 완벽한 번역을 의미합니다.

• BLEU (Bilingual Evaluation Understudy)는 계산 기반 측정항목입니다. BLEU 점수는 후보 텍스트가 참조 텍스트와 얼마나 비슷한지를 나타냅니다. BLEU 점수 값이 1에 가까울수록 번역이 참조 텍스트에 더 가깝다는 뜻입니다.

BLEU 점수는 서로 다른 말뭉치 및 언어 간에 비교하는 데는 권장되지 않습니다. 예를 들어 영어-독일어 BLEU 점수가 50이면 일본어-영어 BLEU 점수가 50이더라도 서로 비교할 수 없습니다. 많은 번역 전문가가 인간 평가와의 상관관계가 더 높고 오류 시나리오를 더 세부적으로 식별하는 모델 기반 측정항목 접근 방식으로 전환했습니다.

번역 모델 평가를 실행하는 방법은 번역 모델 평가를 참고하세요.

점별 평가 또는 쌍별 평가 중에서 선택

다음 표를 사용하여 언제 점별 평가 또는 쌍별 평가를 사용할지 결정하세요.

계산 기반 측정항목

계산 기반 측정항목은 LLM에서 생성된 결과가 입력 및 출력 쌍의 정답 데이터 세트와 일치하는지 비교합니다. 일반적으로 사용되는 측정항목은 다음 그룹으로 분류할 수 있습니다.

• 사전 기반 측정항목: 수학을 사용하여 LLM에서 생성된 결과와 정답(예: Exact Match 및 ROUGE) 간의 문자열 유사성을 계산합니다.
• 카운트 기반 측정항목: 특정 정답 라벨(예: F1-score, Accuracy, Tool Name Match)에 일치하거나 일치하지 않는 행 수를 집계합니다.
• 임베딩 기반 측정항목: 임베딩 공간에서 LLM에서 생성된 결과와 정답 사이의 거리를 계산하여 유사성 수준을 반영합니다.

일반 텍스트 생성

다음 측정항목은 응답이 사용자에게 유용하고 안전하며 효과적인지 확인하는 모델의 기능을 평가하는 데 도움이 됩니다.

도구 사용 및 함수 호출

다음 측정항목은 유효한 도구(함수) 호출을 예측하는 모델의 기능을 평가하는 데 도움이 됩니다.

생성형 AI 평가 서비스에서 Vertex AI SDK for Python를 통해 계산 기반 측정항목을 사용할 수 있습니다.

생성형 태스크의 기준 평가 품질

생성형 AI 모델의 출력을 평가할 때는 평가 프로세스가 본질적으로 주관적이며 평가의 품질이 특정 태스크 및 평가 기준에 따라 달라질 수 있다는 점에 유의하세요. 이러한 주관성은 인간 평가자들에게도 적용됩니다. 생성형 AI 모델에 대한 일관된 평가를 달성하는 데 발생하는 문제에 대한 자세한 내용은 MT-Bench 및 Chatbot Arena를 사용하여 LLM을 판사로 판단 및 인간 의견을 바탕으로 요약하는 학습을 참고하세요.

다음 단계

• 모델 기반 측정항목 템플릿을 찾습니다.

• 평가 데이터 세트 준비

• 평가 실행하기

• 평가 예시 노트북 사용해 보기