PaLM-Textmodelle mit RLHF-Feinabstimmung abstimmen

Reinforcement Learning aus menschlichem Feedback (RLHF) verwendet Feedback von Menschen, um ein Modell zu optimieren. RLHF wird empfohlen, wenn die Ausgabe Ihres Modells komplex und schwer zu beschreiben ist. Das menschliche Feedback wird zwischen verschiedenen Ausgabeoptionen ausgewählt. Diese Auswahlmöglichkeiten bieten bessere Daten als mit Labels versehene Eingabeaufforderungen, die von der überwachten Feinabstimmung verwendet werden, um ein Modell zu optimieren, das eine Ausgabe erstellt, die schwer zu beschreiben ist. Wenn die Ausgabe Ihres Modells schwierig zu definieren ist, sollten Sie Ihr Textmodell mithilfe der überwachten Feinabstimmung optimieren.

Diese Seite enthält detaillierte Informationen zum Optimieren eines Textmodells mit RLHF-Abstimmung. Sie erfahren, welche Textmodelle die RLHF-Abstimmung unterstützen, wie Sie ein Dataset erstellen und wie Sie ein Textmodell mithilfe der RLHF-Abstimmung optimieren. Außerdem erfahren Sie, wie Sie abgestimmte Modelle, die mit RLHF-Abstimmung optimiert wurden, aufrufen und laden können.

Weitere Informationen zur RLHF-Abstimmung in Vertex AI finden Sie im Blogpost RLHF-Abstimmung mit Vertex AI.

Workflow für die RLHF-Modellabstimmung

Der Workflow für die RLHF-Modellabstimmung in Vertex AI umfasst die folgenden Schritte:

1. Bereiten Sie Ihr Dataset für menschliche Präferenzen vor.
2. Bereiten Sie das Prompt-Dataset vor.
3. Laden Sie Ihre Datasets in den Cloud Storage-Bucket hoch. Sie müssen sich nicht im selben Cloud Storage-Bucket befinden.
4. Erstellen Sie einen RLHF-Modelabstimmungsjob.

Nach Abschluss der Modellabstimmung wird das abgestimmte Modell auf einem Vertex AI-Endpunkt bereitgestellt. Der Name des Endpunkts entspricht dem Namen des feinabgestimmten Modells. Wenn Sie einen neuen Prompt erstellen möchten, können abgestimmte Modelle in Vertex AI Studio ausgewählt werden.

Unterstützte Modelle

Die folgenden Textmodelle unterstützen die Abstimmung mit bestärkendem Lernen durch menschliches Feedback in Vertex AI:

• Das Grundlagenmodell für die Textgenerierung text-bison@002. Weitere Informationen finden Sie unter Textgenerierungsmodell.
• Die Flan Text-to-Text Transfer Transformermodelle t5-small, t5-large, t5-xl und t5-xxl (Flan-T5). Flan-T5-Modelle können optimiert werden, um Aufgaben wie Textklassifizierung, Sprachübersetzung und Frageantworten auszuführen. Weitere Informationen finden Sie unter Flan-T5-Prüfpunkte.

Die folgenden Textmodelle unterstützen die RLHF-Abstimmung als selbstverwalteten Vertex AI Pipelines-Job.

• Llama 2, verfügbar über den Vertex AI Model Garden. Weitere Informationen finden Sie im Beispiel-Notebook. Da diese Methode komplexer ist, empfehlen wir, zuerst RLHF in Vertex AI zu testen.

Codemodelle unterstützen keine RLHF-Abstimmung.

RLHF-Abstimmungs-Datasets vorbereiten

Für die RLHF-Abstimmung müssen Sie zwei Datasets und ein optionales Dataset vorbereiten. Alle Datasets haben das JSON Lines-Format (JSONL) und müssen in einen Cloud Storage-Bucket hochgeladen werden. Das Dataset-Format zum Optimieren eines Textgenerierungsmodells unterscheidet sich vom Dataset-Format zum Optimieren eines Textchat-Modells.

Prompt-Dataset

Ein Dataset, das Aufforderungen ohne Label enthält. Aufforderungen können die gleichen Aufforderungen aus dem Präferenz-Dataset sein oder unterschiedlich sein. Jede Zeile im Dataset der Eingabeaufforderung enthält die folgenden Felder:

{
  "input_text": "Create a description for Plantation Palms."
}

{
  "context": "You are a pirate dog named Captain Barktholomew.",
  "messages": [
    {
      "author": "user",
      "content": "Hi"
    },
    {
      "author": "assistant",
      "content": "Argh! What brings ye to my ship?"
    },
    {
      "author": "user",
      "content": "What's your name?"
    },
  ]
}

Weitere Informationen können Sie diesem Beispiel-Prompt-Dataset herunterladen und aufrufen.

Dataset mit menschlichen Präferenzen

Das menschliche Präferenz-Dataset enthält Präferenzen von Menschen. Jede Zeile im Dataset der menschlichen Präferenzen zeichnet die Präferenz zwischen zwei Optionen auf, die einem Menschen präsentiert wurden. Wir empfehlen, dass das Dataset für menschliche Präferenzen 5.000 bis 10.000 Beispiele enthält. Jede Zeile im Dataset für menschliche Präferenzen enthält eine Beispieleinstellung, die die Felder des Eingabe-Datasets für das abzustimmende Modell sowie die folgenden Felder enthält:

• candidate_0 und candidate_1: Jedes dieser Felder enthält zwei Antworten. Der Mensch hilft bei der Feinabstimmung des Modells, indem er eine der beiden Antworten auswählt, die er bevorzugt.
• choice: enthält eine Ganzzahl, 0 oder 1, die angibt, welcher Kandidat der Human bevorzugt. Ein 0 gibt an, dass die Person candidate_0 ausgewählt hat, und ein 1 gibt an, dass die Person candidate_1 ausgewählt hat.

Ein Beispiel für eine Zeile im Dataset für menschliche Präferenzen ist:

{"input_text": "Create a description for Plantation Palms.", "candidate_0": "Enjoy some fun in the sun at Gulf Shores.", "candidate_1": "A Tranquil Oasis of Natural Beauty.", "choice": 0}

Wenn Sie weitere Informationen wünschen, können Sie dieses Beispiel-Dataset für menschliche Präferenzen herunterladen und ansehen.

Bewertungs-Dataset (optional)

Ein Dataset, das nach der Feinabstimmung des Modells Eingabeaufforderungen ohne Label für die Vorhersage enthält. Wenn das Bewertungs-Dataset angegeben ist, wird nach Abschluss des Abstimmungsjobs eine Inferenz ausgeführt. Das Format des Bewertungs-Datasets entspricht dem Format des Datasets für die Eingabeaufforderung. Die Eingabeaufforderungen in einem Bewertungs-Dataset müssen sich jedoch von den Eingabeaufforderungen im Dataset unterscheiden.

Für weitere Informationen können Sie dieses Beispiel-Bewertungs-Dataset herunterladen und ansehen.

Prämienmodell

Das Dataset mit menschlichen Präferenzen wird zum Trainieren eines Prämienmodells verwendet. Vertex AI erstellt und verwendet das Prämienmodell während der RLHF-Abstimmung. Prämienmodelle werden in einem privaten Cloud Storage-Bucket in einem Kundenmandantenprojekt erstellt. Ein Kundenmandantenprojekt ist ein internes Projekt, das für einen Kunden eindeutig ist. Sie können nicht auf ein Prämienmodell zugreifen und es wird nach Abschluss des Abstimmungsjobs gelöscht. Weitere Informationen finden Sie unter Mandantenprojekt.

Konsistenz mit Produktionsdaten gewährleisten

Die Beispiele in Ihren Datasets sollten dem erwarteten Produktionstraffic entsprechen. Wenn Ihr Dataset bestimmte Formatierungen, Keywords, Anleitungen oder Informationen enthält, sollten die Produktionsdaten auf die gleiche Weise formatiert sein und die gleichen Anweisungen enthalten.

Wenn die Beispiele in Ihrem Dataset beispielsweise ein "question:" und ein "context:" enthalten, sollte der Produktionstraffic ebenfalls so formatiert werden, dass er ein "question:" und ein "context:" in der gleichen Reihenfolge wie in den Dataset-Beispielen enthält. Wenn Sie den Kontext ausschließen, erkennt das Modell das Muster nicht, selbst wenn die genaue Frage in einem Beispiel im Dataset vorkommt.

Abstimmungs-Datasets in Cloud Storage hochladen

Zum Ausführen eines Abstimmungsjobs müssen Sie ein oder mehrere Datasets in einen Cloud Storage-Bucket hochladen. Sie können entweder einen neuen Cloud Storage-Bucket erstellen oder einen vorhandenen Bucket zum Speichern von Dataset-Dateien verwenden. Die Region des Buckets spielt keine Rolle. Wir empfehlen jedoch die Verwendung eines Buckets im selben Google Cloud-Projekt, in dem Sie die Modellabstimmung ausführen möchten.

Wenn der Bucket bereit ist, laden Sie Ihre Dataset-Datei in den Bucket hoch.

RLHF-Abstimmungsjob erstellen

Sie können die RLHF-Abstimmung mit der Cloud Console oder dem Vertex AI SDK für Python ausführen.

Status des Abstimmungsvorgangs prüfen

Rufen Sie in der Google Cloud Console die Seite Vertex AI Pipelines auf, um den Status Ihres Modellabstimmungsjobs zu prüfen. Auf dieser Seite wird der Status von Text- und Code-Modell-Abstimmungsjobs angezeigt.

Zu Pipelines

Alternativ können Sie E-Mail-Benachrichtigungen für Vertex AI Pipelines konfigurieren, damit Sie per E-Mail benachrichtigt werden, wenn der Modellabstimmungsjob abgeschlossen oder fehlgeschlagen ist.

Nächste Schritte

• Selbstverwalteten RLHF-Abstimmungsjob für Llama 2 mit Vertex AI Pipelines ausführen.
• Verantwortungsbewusste Best Practices für KI und Sicherheitsfilter von Vertex AI
• Audit-Logs zum Datenzugriff für Ihre Endpunkte aktivieren
• Weitere Informationen zum Bewerten des optimierten Modells
• Weitere Informationen zur RLHF-Abstimmung in Vertex AI finden Sie im Blogpost RLHF-Abstimmung mit Vertex AI.