Bewertungsmesswerte definieren

Der erste Schritt bei der Bewertung Ihrer generativen Modelle oder Anwendungen besteht darin, das Bewertungsziel zu identifizieren und die Bewertungsmesswerte zu definieren. Auf dieser Seite finden Sie einen Überblick über Konzepte im Zusammenhang mit der Definition von Bewertungs-Messwerten für Ihren Anwendungsfall.

Übersicht

Mit generativen KI-Modellen lassen sich Anwendungen für eine Vielzahl von Aufgaben erstellen, z. B. zum Zusammenfassen von Nachrichtenartikeln, zum Beantworten von Kundenanfragen oder zum Schreiben von Code. Mit dem Gen AI Evaluation Service in Vertex AI können Sie jedes Modell mit erklärbaren Messwerten bewerten.

Angenommen, Sie entwickeln eine Anwendung, mit der Artikel zusammengefasst werden. Um die Leistung Ihrer Anwendung bei dieser bestimmten Aufgabe zu bewerten, sollten Sie die Kriterien berücksichtigen, die Sie messen möchten, und die Messwerte, die Sie zur Bewertung verwenden:

• Kriterien: Eine oder mehrere Dimensionen, die Sie auswerten möchten, z. B. conciseness, relevance, correctness oder appropriate choice of words.

• Messwerte: Eine einzelne Punktzahl, mit der die Modellausgabe anhand von Kriterien gemessen wird.

Der Gen AI Evaluation Service bietet zwei Haupttypen von Messwerten:

• Modellbasierte Messwerte: Bei unseren modellbasierten Messwerten wird Ihr Kandidatenmodell mit einem Richtermodell verglichen. Das Judge-Modell für die meisten Anwendungsfälle ist Gemini. Sie können aber auch Modelle wie MetricX oder COMET für Übersetzungsanwendungsfälle verwenden.

  Sie können modellbasierte Messwerte paarweise oder punktweise analysieren:

  • Punktbasierte Messwerte: Das Bewertungsmodell bewertet die Ausgabe des Kandidatenmodells anhand der Bewertungskriterien. Die Punktzahl könnte beispielsweise zwischen 0 und 5 liegen, wobei 0 bedeutet, dass die Antwort die Kriterien nicht erfüllt, und 5, dass die Antwort die Kriterien gut erfüllt.

  • Paarweise Messwerte: Das Bewertungsmodell vergleicht die Antworten von zwei Modellen und wählt die bessere aus. Das wird häufig verwendet, wenn ein Kandidatenmodell mit dem Baseline-Modell verglichen wird. Paarweise Messwerte werden nur mit Gemini als Judge-Modell unterstützt.

• Berechnungsbasierte Messwerte: Diese Messwerte werden mithilfe mathematischer Formeln berechnet, um die Ausgabe des Modells mit einer Grundwahrheit oder einem Referenzwert zu vergleichen. Häufig verwendete rechenbasierte Messwerte sind ROUGE und BLEU.

Sie können berechnungsbasierte Messwerte eigenständig oder zusammen mit modellbasierten Messwerten verwenden. Anhand der folgenden Tabelle können Sie entscheiden, wann Sie modellbasierte oder berechnungsbasierte Messwerte verwenden sollten:

Weitere Informationen finden Sie unter Dataset vorbereiten und Bewertung ausführen.

Modellbasierte Messwerte definieren

Bei der modellbasierten Bewertung wird ein Machine-Learning-Modell als Bewertungsmodell verwendet, um die Ausgaben des Kandidatenmodells zu bewerten.

Proprietäre Google-Bewertungsmodelle wie Gemini werden mit menschlichen Prüfern abgestimmt, um ihre Qualität zu gewährleisten. Sie werden verwaltet und sind sofort einsatzbereit. Die modellbasierte Bewertung variiert je nach den von Ihnen angegebenen Bewertungsstatistiken.

Die modellbasierte Bewertung folgt diesem Prozess:

1. Datenvorbereitung: Sie stellen Bewertungsdaten in Form von Eingabe-Prompts bereit. Die Kandidatenmodelle erhalten die Prompts und generieren entsprechende Antworten.

2. Bewertung: Die Bewertungsmesswerte und generierten Antworten werden an das Judge-Modell gesendet. Das Judge-Modell bewertet jede Antwort einzeln und liefert eine zeilenbasierte Bewertung.

3. Aggregation und Erklärung: Der Gen AI Evaluation Service fasst diese einzelnen Bewertungen zu einer Gesamtpunktzahl zusammen. Die Ausgabe enthält auch Chain-of-Thought-Erklärungen für jedes Urteil, in denen die Gründe für die Auswahl dargelegt werden.

Der Gen AI Evaluation Service bietet die folgenden Optionen zum Einrichten Ihrer modellbasierten Messwerte mit dem Vertex AI SDK:

Sie möchten beispielsweise eine generative KI-Anwendung entwickeln, die flüssige und unterhaltsame Antworten liefert. Für diese Anwendung können Sie über die Vorlagenschnittstelle zwei Kriterien für die Bewertung definieren:

• Flüssigkeit: Die Sätze sind flüssig und es werden keine umständlichen Formulierungen oder Schachtelsätze verwendet. Ideen und Sätze sind logisch miteinander verbunden und Übergänge werden bei Bedarf effektiv eingesetzt.

• Unterhaltung: Kurzer, amüsanter Text mit Emojis, Ausrufezeichen und Fragen, um schnelle und spontane Kommunikation und Ablenkung zu vermitteln.

Um diese beiden Kriterien in einen Messwert umzuwandeln, benötigen Sie einen Gesamtscore zwischen -1 und 1, der als custom_text_quality bezeichnet wird. So können Sie einen Messwert definieren:

# Define a pointwise metric with two criteria: Fluency and Entertaining.
custom_text_quality = PointwiseMetric(
    metric="custom_text_quality",
    metric_prompt_template=PointwiseMetricPromptTemplate(
        criteria={
            "fluency": (
                "Sentences flow smoothly and are easy to read, avoiding awkward"
                " phrasing or run-on sentences. Ideas and sentences connect"
                " logically, using transitions effectively where needed."
            ),
            "entertaining": (
                "Short, amusing text that incorporates emojis, exclamations and"
                " questions to convey quick and spontaneous communication and"
                " diversion."
            ),
        },
        rating_rubric={
            "1": "The response performs well on both criteria.",
            "0": "The response is somewhat aligned with both criteria",
            "-1": "The response falls short on both criteria",
        },
    ),
)

Eine vollständige Liste der Vorlagen für Messwert-Prompts finden Sie unter Vorlagen für Messwert-Prompts für die Bewertung.

Übersetzungsmodelle bewerten

Der Gen AI Evaluation Service bietet die folgenden Messwerte für die Bewertung von Übersetzungsaufgaben:

• MetricX

• COMET

• BLEU

MetricX und COMET sind punktbasierte, modellbasierte Messwerte, die für Übersetzungsaufgaben trainiert wurden. Sie können die Qualität und Genauigkeit der Ergebnisse von Übersetzungsmodellen für Ihre Inhalte bewerten, unabhängig davon, ob es sich um Ausgaben von NMT-, TranslationLLM- oder Gemini-Modellen handelt.

Sie können Gemini auch als Judge-Modell verwenden, um Ihr Modell in Kombination mit MetricX, COMET oder BLEU hinsichtlich Flüssigkeit, Kohärenz, Ausführlichkeit und Textqualität zu bewerten.

• MetricX ist eine von Google entwickelte, auf Fehlern basierende Metrik, mit der ein Gleitkommawert zwischen 0 und 25 vorhergesagt wird, der die Qualität einer Übersetzung angibt. MetricX ist sowohl als referenzbasierte als auch als referenzfreie (QE) Methode verfügbar. Wenn Sie diesen Messwert verwenden, ist ein niedrigerer Wert besser, da er auf weniger Fehler hinweist.

• COMET verwendet einen referenzbasierten Regressionsansatz, der Werte zwischen 0 und 1 liefert, wobei 1 für eine perfekte Übersetzung steht.

• BLEU (Bilingual Evaluation Understudy) ist ein berechnungsbasierter Messwert. Der BLEU-Score gibt an, wie ähnlich der Kandidatentext dem Referenztext ist. Je näher ein BLEU-Score-Wert an 1 liegt, desto näher ist die Übersetzung dem Referenztext.

Beachten Sie, dass BLEU-Werte nicht für den Vergleich verschiedener Korpora und Sprachen empfohlen werden. Ein BLEU-Score von 50 für die Übersetzung von Englisch ins Deutsche ist beispielsweise nicht mit einem BLEU-Score von 50 für die Übersetzung von Japanisch ins Englische vergleichbar. Viele Übersetzungsexperten sind zu modellbasierten Messwertansätzen übergegangen, die eine höhere Korrelation mit menschlichen Bewertungen aufweisen und Fehler besser erkennen.

Informationen zum Ausführen von Bewertungen für Übersetzungsmodelle finden Sie unter Übersetzungsmodell bewerten.

Zwischen punktweiser und paarweiser Bewertung wählen

Anhand der folgenden Tabelle können Sie entscheiden, wann Sie die punktweise oder paarweise Auswertung verwenden möchten:

Berechnungsbasierte Messwerte

Berechnungsbasierte Messwerte vergleichen, ob die von LLM generierten Ergebnisse mit einem Ground Truth-Dataset von Eingabe/Ausgabe-Paaren konsistent sind. Die am häufigsten verwendeten Messwerte lassen sich in die folgenden Gruppen einteilen:

• Lexikonbasierte Messwerte: Verwenden Sie mathematische Methoden, um die String-Ähnlichkeiten zwischen den von LLM generierten Ergebnissen und der Ground Truth zu berechnen, z. B. Exact Match und ROUGE.
• Zählbasierte Messwerte: Aggregieren Sie die Anzahl der Zeilen, die bestimmte Ground Truth-Labels wie F1-score, Accuracy und Tool Name Match erreichen oder nicht erreichen.
• Einbettungs-basierte Messwerte: Berechnen Sie den Abstand zwischen den von LLM generierten Ergebnissen und der Ground Truth im Einbettungsraum, um den Grad der Ähnlichkeit zu ermitteln.

Allgemeine Textgenerierung

Mithilfe der folgenden Messwerte können Sie bewerten, ob das Modell in der Lage ist, dafür zu sorgen, dass die Antworten für Ihre Nutzer nützlich, sicher und effektiv sind.

Tool-Nutzung und Funktionsaufrufe

Die folgenden Messwerte helfen Ihnen, die Fähigkeit des Modells zu bewerten, einen gültigen Tool- (Funktions-)Aufruf vorherzusagen.

Im Bewertungsdienst für generative KI können Sie berechnungsbasierte Messwerte über das Vertex AI SDK for Python verwenden.

Qualität der Baseline-Bewertung für generative Aufgaben

Beachten Sie bei der Bewertung der Ausgabe von generativen KI-Modellen, dass der Bewertungsprozess von Natur aus subjektiv ist und die Qualität der Bewertung je nach Aufgabe und Bewertungskriterien variieren kann. Diese Subjektivität gilt auch für menschliche Prüfer. Weitere Informationen zu den Herausforderungen bei der konsistenten Bewertung von generativen KI-Modellen finden Sie unter Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena und Learning to summarize from human feedback.

Nächste Schritte

• Suchen Sie nach einer Vorlage für modellbasierte Messwerte.

• Bereiten Sie das Bewertungs-Dataset vor.

• Bewertung ausführen

• Probieren Sie ein Bewertungs-Beispielnotebook aus.