Die Modellabstimmung ist ein wichtiger Prozess bei der Anpassung von Gemini, um bestimmte nachgelagerte Aufgaben mit höherer Precision und Accuracy auszuführen. Bei der Modellabstimmung wird einem Modell ein Trainings-Dataset bereitgestellt, das Beispiele für bestimmte nachgelagerte Aufgaben enthält.
Diese Seite bietet einen Überblick über die Modellabstimmung für Gemini und behandelt die folgenden Themen:
- Vorteile der Modellabstimmung:Hier erfahren Sie, wie sich durch die Abstimmung die Qualität, Robustheit und Effizienz von Modellen verbessern lassen.
- Abstimmung im Vergleich zum Prompt-Design:Hier erfahren Sie mehr über die Unterschiede zwischen der Anpassung eines Modells durch Abstimmung und dem Erstellen effektiver Prompts.
- Abstimmungsansätze:Hier werden die beiden wichtigsten Ansätze für die Abstimmung beschrieben: parametereffiziente Abstimmung und vollständige Feinabstimmung.
- Unterstützte Abstimmungsmethoden:Hier finden Sie Informationen zur Methode für das überwachte Fine-Tuning, die von Vertex AI unterstützt wird.
Vorteile der Modellabstimmung
Die Modellabstimmung ist eine effektive Methode, um große Modelle an Ihre Aufgaben anzupassen. Dies ist ein wichtiger Schritt zur Verbesserung der Qualität und Effizienz eines Modells. Die Modellabstimmung bietet folgende Vorteile:
- Höhere Qualität: Die Modellleistung bei Ihren spezifischen Aufgaben wird verbessert.
- Erhöhte Robustheit des Modells: Das Modell reagiert weniger empfindlich auf Variationen bei der Eingabe.
- Geringere Inferenzkosten und ‑latenz: Durch die Möglichkeit, kürzere Prompts zu verwenden, werden Kosten und Antwortzeiten reduziert.
Abstimmung im Vergleich zum Prompt-Design
In der folgenden Tabelle werden Prompt-Design und Feinabstimmung verglichen:
| Methode |
Beschreibung |
Optimal für |
| Prompt-Design |
Effektive Anweisungen erstellen, um die Ausgabe des Modells zu steuern, ohne das Modell selbst zu ändern. |
Schnelles Prototyping, Aufgaben mit begrenzten gelabelten Daten oder wenn Sie schnell eine Referenzleistung benötigen. |
| Optimierung |
Das Basismodell wird anhand eines benutzerdefinierten Datasets mit Labels neu trainiert, um die Gewichtungen an eine bestimmte Aufgabe anzupassen. |
Komplexe oder einzigartige Aufgaben, höhere Qualität und wenn Sie einen umfangreichen Dataset (mindestens 100 Beispiele) haben. |
Berücksichtigen Sie bei der Entscheidung zwischen Prompt-Design und Feinabstimmung die folgenden Empfehlungen:
- Beginnen Sie mit dem Prompt-Design, um den optimalen Prompt zu finden. Bei Bedarf können Sie die Leistung durch Feinabstimmung weiter steigern oder wiederkehrende Fehler beheben.
- Bevor Sie weitere Daten hinzufügen, sollten Sie prüfen, wo das Modell Fehler macht.
- Priorisieren Sie hochwertige, gut mit Labels versehene Daten gegenüber der Menge.
- Die für die Feinabstimmung verwendeten Daten sollten die Prompt-Verteilung, das Format und den Kontext widerspiegeln, die dem Modell in der Produktion begegnen.
Die Abstimmung bietet folgende Vorteile gegenüber dem Prompt-Design:
- Umfassendere Anpassung: Ermöglicht eine umfassendere Anpassung des Modells, was zu einer besseren Leistung bei bestimmten Aufgaben führt.
- Bessere Ausrichtung: Das Modell wird an benutzerdefinierte Syntax, Anweisungen und domainspezifische semantische Regeln angepasst.
- Konsistentere Ergebnisse: Die Ergebnisse sind einheitlicher und zuverlässiger.
- Mehr Beispiele verarbeiten: Es können mehr Beispiele in einem einzelnen Prompt verarbeitet werden.
- Geringere Inferenzkosten: Durch den Wegfall von Few-Shot-Beispielen und langen Anleitungen in Prompts lassen sich Kosten bei der Inferenz sparen.
Abstimmungsansätze
Die parametereffiziente Abstimmung und die vollständige Feinabstimmung sind zwei Ansätze zum Anpassen großer Modelle. Beide Methoden haben ihre Vorteile und Auswirkungen auf die Modellqualität und die Ressourceneffizienz.
| Abstimmungsansatz |
Beschreibung |
Vorteile |
Nachteile |
| Parametereffiziente Abstimmung (Adapter-Abstimmung) |
Es wird nur eine kleine Teilmenge der Parameter des Modells aktualisiert. |
Ressourceneffizient, kostengünstig, schnelleres Training mit kleineren Datasets, flexibel für Multi-Task-Learning. |
Bei hochkomplexen Aufgaben wird möglicherweise nicht die gleiche Spitzenqualität wie bei der vollständigen Abstimmung erreicht. |
| Vollständige Optimierung |
Aktualisiert alle Parameter des Modells. |
Potenzial für höhere Qualität bei hochkomplexen Aufgaben |
Erfordert erhebliche Rechenressourcen, höhere Kosten für die Abstimmung und Bereitstellung. |
Bei der parametereffizienten Abstimmung (Parameter-Efficient Tuning, PET), auch Adapter-Abstimmung genannt, wird nur eine kleine Teilmenge der Modellparameter aktualisiert. Dieser Ansatz ist ressourceneffizienter und kostengünstiger als die vollständige Feinabstimmung. Mit ihr kann das Modell mit einem kleineren Dataset schneller angepasst werden. Außerdem bietet sie eine flexible Lösung für das Multi-Task-Lernen, ohne dass ein umfassendes erneutes Training erforderlich ist. Weitere Informationen dazu, wie Vertex AI die Adapterabstimmung und -bereitstellung unterstützt, finden Sie im Whitepaper Anpassung großer Basismodelle.
Bei der vollständigen Feinabstimmung werden alle Parameter des Modells aktualisiert. Diese Methode eignet sich zur Anpassung eines Modells an hochkomplexe Aufgaben und kann eine höhere Qualität erzielen. Sie erfordert jedoch erhebliche Rechenressourcen sowohl für die Abstimmung als auch für die Bereitstellung, was zu höheren Gesamtkosten führt.
Unterstützte Abstimmungsmethoden
Vertex AI unterstützt die überwachte Feinabstimmung zum Anpassen von Foundation Models.
Überwachte Feinabstimmung
Die überwachte Feinabstimmung verbessert die Leistung eines Modells, indem sie ihm eine neue Fähigkeit vermittelt. Dazu wird ein Dataset mit Hunderten von gelabelten Beispielen verwendet. Jedes gelabelte Beispiel zeigt die gewünschte Ausgabe, die das Modell während der Inferenz generieren soll.
Wenn Sie einen überwachten Feinabstimmungsjob ausführen, lernt das Modell zusätzliche Parameter, die die Informationen codieren, die erforderlich sind, um die gewünschte Aufgabe auszuführen oder das gewünschte Verhalten zu erlernen. Diese Parameter werden während der Inferenz verwendet. Die Ausgabe des Abstimmungsjobs ist ein neues Modell, das die neu erlernten Parameter mit dem ursprünglichen Modell kombiniert.
Die überwachte Feinabstimmung eines Textmodells ist eine gute Option, wenn die Ausgabe Ihres Modells nicht komplex und relativ einfach zu definieren ist. Die überwachte Feinabstimmung ist eine gute Wahl für Aufgaben wie Klassifizierung, Sentimentanalyse, Entitätsextraktion, Zusammenfassung von Inhalten, die nicht komplex sind, und das Schreiben domainspezifischer Abfragen. Bei Codemodellen ist die überwachte Abstimmung die einzige Option.
Modelle, die die überwachte Feinabstimmung unterstützen
Die folgenden Gemini-Modelle unterstützen die überwachte Abstimmung:
Weitere Informationen zur überwachten Feinabstimmung mit verschiedenen Datentypen finden Sie unter Modelle mit Text-, Bild-, Audio- und Dokument-Daten abstimmen.
Nächste Schritte
