Datengesteuerter Prompt-Optimierer

Notebook

Wenn Sie den datengetriebenen Optimierer über das Notebook ausführen möchten, erstellen Sie Systemanweisungen und eine Prompt-Vorlage. Gehen Sie dazu so vor:

1. Öffnen Sie in Colab Enterprise das Vertex AI-Notebook für den Prompt-Optimierer.

   Zum Vertex AI-Notebook für den Prompt-Optimierer

2. Führen Sie im Abschnitt Vorlage für Prompts und außerdem Systemanweisungen erstellen die folgenden Schritte aus:

   1. Geben Sie im Feld SYSTEM_INSTRUCTION Ihre Systemanweisungen ein. Beispiel:

      Based on the following images and articles respond to the questions.'\n' Be concise,
      and answer \"I don't know\" if the response cannot be found in the provided articles or images.
      

   2. Geben Sie im Feld PROMPT_TEMPLATE Ihre Prompt-Vorlage ein. Beispiel:

      Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}
      

   3. Wenn Sie Ihre Prompts mit question_answering_correctness oder auf Berechnungen basierenden Auswertungen optimieren möchten, müssen Sie einen der folgenden Schritte ausführen:

   • Fügen Sie der Promptvorlage die Variable {target} hinzu, um die Grundwahrheit-Antwort des Prompts darzustellen. Beispiel:

     Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}\n\n Answer: {target}
     

   • Wenn Sie keine Grundwahrheit-Antworten für Ihre Prompts haben, die Prompts aber bereits mit einem Google-Modell verwendet und die gewünschten Ergebnisse erzielt haben, können Sie Ihrer Konfiguration den Parameter source_model hinzufügen, anstatt Grundwahrheit-Antworten hinzuzufügen. Wenn der Parameter source_model festgelegt ist, führt der datengesteuerte Optimierer Ihre Beispielprompts auf dem Quellmodell aus, um die Grundwahrheit-Antworten für Sie zu generieren.

SDK

Wenn Sie den datengesteuerten Optimierer über das SDK ausführen möchten, ohne das Notebook zu verwenden, erstellen Sie Textdateien für Ihre Prompt-Vorlage und Systemanweisungen. Gehen Sie dazu so vor:

1. Erstellen Sie eine Textdatei für Ihre Systemanweisungen.

2. Definieren Sie in der Textdatei Ihre Systemanweisungen an die Textdatei. Beispiel:

   Based on the following images and articles respond to the questions.'\n' Be concise, and answer \"I don't know\" if the response cannot be found in the provided articles or images.
   

3. Erstellen Sie eine Textdatei für Ihre Prompt-Vorlage.

4. Definieren Sie in der Textdatei eine Promptvorlage, die eine oder mehrere Variablen enthält. Beispiel:

   Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}
   

5. Wenn Sie Ihre Prompts mit question_answering_correctness oder auf Berechnungen basierenden Auswertungen optimieren möchten, müssen Sie einen der folgenden Schritte ausführen:

   • Fügen Sie der Promptvorlage die Variable {target} hinzu, um die Grundwahrheit-Antwort des Prompts darzustellen. Beispiel:

     Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}\n\n Answer: {target}
     

   • Wenn Sie keine Grundwahrheit-Antworten für Ihre Prompts haben, die Prompts aber bereits mit einem Google-Modell verwendet und die gewünschten Ergebnisse erzielt haben, können Sie Ihrer Konfiguration den Parameter source_model hinzufügen, anstatt Grundwahrheit-Antworten hinzuzufügen. Wenn der Parameter source_model festgelegt ist, führt der datengesteuerte Optimierer Ihre Beispielprompts auf dem Quellmodell aus, um die Grundwahrheit-Antworten für Sie zu generieren.

JSONL-Datei

1. Erstellen Sie eine JSONL-Datei.

2. Fügen Sie der JSONL-Datei die Prompt-Daten hinzu, die jede Variable ersetzen. Beispiel:

   {"article_1": "The marine life …", "image_1": "gs://path_to_image", "Question": "What are some most effective ways to reduce ocean pollution?", "target": "The articles and images don't answer this question."}
   
   {"article_1": "During the year …", "image_1": "gs://path_to_image", "Question": "Who was the president in 2023?", "target": "Joe Biden"}
   

3. JSONL-Datei in einen Cloud Storage-Bucket hochladen

CSV-Datei

1. CSV-Datei erstellen
2. Fügen Sie in der ersten Zeile die Variablen aus Ihrer Promptvorlage ein.
3. Fügen Sie in den folgenden Zeilen die Beispieldaten hinzu, die die einzelnen Variablen ersetzen.
4. CSV-Datei in einen Cloud Storage-Bucket hochladen

Notebook

Wenn Sie den datengesteuerten Optimierer über das Notebook ausführen möchten, erstellen Sie eine Konfiguration. Gehen Sie dazu so vor:

1. Öffnen Sie in Colab Enterprise das Notebook für den datengesteuerten Optimierer.

   Zum Vertex AI-Notebook für den Prompt-Optimierer

2. Führen Sie im Abschnitt Projekteinstellungen konfigurieren die folgenden Schritte aus:

   1. Geben Sie im Feld PROJECT_ID Ihre Projekt-ID ein.
   2. Geben Sie im Feld LOCATION den Ort ein, an dem Sie den datengesteuerten Optimierer ausführen möchten.
   3. Geben Sie im Feld OUTPUT_PATH den URI für den Cloud Storage-Bucket ein, in den der datengesteuerte Optimierer die optimierten Systemanweisungen und/oder Few-Shot-Beispiele schreiben soll. Beispiel: gs://bucket-name/output-path.
   4. Geben Sie im Feld INPUT_PATH den URI für die Beispielprompts in Ihrem Cloud Storage-Bucket ein. Beispiel: gs://bucket-name/sample-prompts.jsonl

3. Führen Sie im Abschnitt Optimierungseinstellungen konfigurieren die folgenden Schritte aus:

   1. Geben Sie im Feld TARGET_MODEL das Modell ein, für das Sie Prompts optimieren möchten.
   2. Geben Sie im Feld THINKING_BUDGET das Thinking-Budget für das Zielmodell ein, für das Sie Prompts optimieren möchten. Standardmäßig auf -1 festgelegt. Das bedeutet, dass es kein Thinking für Modelle ohne Thinking und automatisches Thinking für Modelle mit Thinking wie Gemini 2.5 gibt. Weitere Informationen zu manuellen Budgeteinstellungen finden Sie unter Überlegungen.
   3. Geben Sie in OPTIMIZATION_MODE den gewünschten Optimierungsmodus ein. Muss instruction oder demonstration oder instruction_and_demo sein.
   4. Geben Sie im Feld EVAL_METRIC einen Bewertungs-Messwert ein, für den Sie Ihre Prompts optimieren möchten.
   5. Optional: Geben Sie im Feld SOURCE_MODEL das Google-Modell ein, mit dem die Systemanweisungen und Prompts zuvor verwendet wurden. Wenn der Parameter source_model festgelegt ist, führt der datengesteuerte Optimierer Ihre Beispielprompts auf dem Quellmodell aus, um die Grundwahrheit-Antworten für Sie zu generieren. Das ist für Bewertungsmesswerte erforderlich, für die Grundwahrheit-Antworten erforderlich sind. Wenn Sie Ihre Prompts noch nicht mit einem Google-Modell ausgeführt haben oder Ihre Zielergebnisse nicht erreicht haben, fügen Sie dem Prompt stattdessen Grundwahrheit-Antworten hinzu. Weitere Informationen finden Sie in diesem Dokument im Abschnitt Prompt und Systemanweisungen erstellen.

4. Optional: Im Abschnitt Erweiterte Optimierungseinstellungen konfigurieren können Sie Ihrer Konfiguration zusätzlich einen der optionalen Parameter hinzufügen.

Optionale Parameter ansehen
• Geben Sie im Feld NUM_INST_OPTIMIZATION_STEPS die Anzahl der Iterationen ein, die der datengesteuerte Optimierer im Modus zur Optimierung von Anleitungen verwendet. Die Laufzeit steigt linear, wenn Sie diesen Wert erhöhen. Muss eine Ganzzahl zwischen 10 und 20 sein. Wenn nicht festgelegt, ist der Standardwert 10.
• Geben Sie im Feld NUM_DEMO_OPTIMIZATION_STEPS die Anzahl der Demonstrationen ein, die vom datengesteuerten Optimierer ausgewertet werden. Wird mit dem Optimierungsmodus demonstration und instruction_and_demo verwendet. Muss eine Ganzzahl zwischen 10 und 30 sein. Wenn nicht festgelegt, ist der Standardwert 10.
• Geben Sie im Feld NUM_DEMO_PER_PROMPT die Anzahl der Demonstrationen ein, die pro Prompt generiert werden. Muss eine Ganzzahl zwischen 2 und der Gesamtzahl der Beispielprompts – 1 sein. Wenn nicht festgelegt, ist der Standardwert 3.
• Geben Sie im Feld TARGET_MODEL_QPS die Abfragen pro Sekunde (QPS) ein, die der datengesteuerte Optimierer an das Zielmodell sendet. Die Laufzeit nimmt linear ab, wenn Sie diesen Wert erhöhen. Muss ein Gleitkommazahl sein, der mindestens 3.0 beträgt, aber kleiner als das QPS-Kontingent ist, das Sie für das Zielmodell haben. Wenn nicht festgelegt, ist der Standardwert 3.0.
• Geben Sie im Feld SOURCE_MODEL_QPS die Anzahl der Abfragen pro Sekunde (QPS) ein, die der datengesteuerte Optimierer an das Quellmodell sendet. Muss ein Gleitkommazahl sein, der mindestens 3.0, aber kleiner als das Abfragekontingent pro Sekunde für das Quellmodell ist. Wenn nicht festgelegt, ist der Standardwert 3.0.
• Geben Sie im Feld EVAL_QPS die Anzahl der Abfragen pro Sekunde (QPS) ein, die der datengesteuerte Optimierer an den Gen AI-Bewertungsdienst oder die Cloud Run-Funktion sendet.
  • Bei modellbasierten Messwerten muss es sich um eine Gleitkommazahl handeln, die 3.0 oder größer ist. Wenn nicht festgelegt, ist der Standardwert 3.0.
  • Bei benutzerdefinierten Messwerten muss es sich um eine Gleitkommazahl handeln, die 3.0 oder größer ist. Damit wird die Häufigkeit festgelegt, mit der der datengesteuerte Optimierer Ihre Cloud Run-Funktionen mit benutzerdefinierten Messwerten aufruft.
• Wenn Sie mehr als einen Bewertungs-Messwert verwenden möchten, gehen Sie so vor:
  1. Geben Sie im Feld EVAL_METRIC_1 einen zu verwendenden Evaluierungsmesswert ein.
  2. Geben Sie im Feld EVAL_METRIC_1_WEIGHT das Gewichtung ein, das der datengesteuerte Optimierer bei der Optimierung verwenden soll.
  3. Geben Sie im Feld EVAL_METRIC_2 einen zu verwendenden Evaluierungsmesswert ein.
  4. Geben Sie im Feld EVAL_METRIC_2_WEIGHT das Gewichtung ein, das der datengesteuerte Optimierer bei der Optimierung verwenden soll.
  5. Geben Sie optional im Feld EVAL_METRIC_3 einen Bewertungs-Messwert ein, den Sie verwenden möchten.
  6. Geben Sie optional im Feld EVAL_METRIC_3_WEIGHT das Gewichtung ein, das der datengesteuerte Optimierer bei der Optimierung verwenden soll.
  7. Geben Sie im Feld METRIC_AGGREGATION_TYPE das Gewichtung ein, das der datengesteuerte Optimierer bei der Optimierung verwenden soll.
• Geben Sie im Feld PLACEHOLDER_TO_VALUE die Informationen ein, die alle Variablen in den Systemanweisungen ersetzen. Informationen, die in diesem Flag enthalten sind, werden nicht vom datengesteuerten Optimierungstool optimiert.
• Geben Sie im Feld RESPONSE_MIME_TYPE den MIME-Antworttyp ein, der vom Zielmodell verwendet wird. Muss text/plain oder application/json sein. Wenn nicht festgelegt, ist der Standardwert text/plain.
• Geben Sie im Feld TARGET_LANGUAGE die Sprache der Systemanweisungen ein. Wenn nicht festgelegt, ist die Standardsprache Englisch.

SDK

Wenn Sie den datengesteuerten Optimierer über das SDK ausführen möchten, erstellen Sie eine JSON-Datei mit den Parametern, die Sie zum Optimieren von Prompts verwenden möchten. Gehen Sie dazu so vor:

1. Erstellen Sie eine JSON-Datei mit den Parametern, die Sie zum Optimieren Ihrer Prompts verwenden möchten. Für jede Konfigurationsdatei sind die folgenden Parameter erforderlich:

   {
    "project": "PROJECT_ID",
    "system_instruction": "SYSTEM_INSTRUCTION",
    "prompt_template": "PROMPT_TEMPLATE",
    "target_model": "TARGET_MODEL",
    "thinking_budget": "THINKING_BUDGET,
    EVALUATION_METRIC_PARAMETERS,
    "optimization_mode": "OPTIMIZATION_MODE",
    "input_data_path": "SAMPLE_PROMPT_URI",
    "output_path": "OUTPUT_URI"
   }
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: Ihre Projekt-ID.
   • SYSTEM_INSTRUCTION: Die Systemanweisungen, die Sie optimieren möchten.
   • PROMPT_TEMPLATE: die Prompt-Vorlage.
   • TARGET_MODEL: Das Modell, für das Sie Prompts optimieren möchten.
   • THINKING_BUDGET: Das Thinking-Budget für das Zielmodell, für das Sie Prompts optimieren möchten. Der Standardwert ist -1. Das bedeutet, dass es bei Modellen, die nicht denken, kein Thinking gibt und bei Modellen, die denken, wie Gemini 2.5, automatisches Thinking. Weitere Informationen zu manuellen Budgeteinstellungen finden Sie unter Überlegungen.

   • EVALUATION_METRIC_PARAMETERS: Die von Ihnen angegebenen Parameter hängen davon ab, wie viele Auswertungsstatistiken Sie verwenden und ob es sich um Standard- oder benutzerdefinierte Statistiken handelt:

     Einzelner Standardmesswert

     Wenn Sie einen einzelnen Standardmesswert für die Bewertung verwenden, nutzen Sie den folgenden Parameter:

      "eval_metric": "EVALUATION_METRIC",
      

     Ersetzen Sie EVALUATION_METRIC durch die Messgröße, für die Sie Ihre Prompts optimieren möchten.

     Einzelner benutzerdefinierter Messwert

     Wenn Sie einen einzelnen benutzerdefinierten Bewertungsmesswert verwenden, nutzen Sie die folgenden Parameter:

     "eval_metric": "custom_metric",
     "custom_metric_name": "CUSTOM_METRIC_NAME",
     "custom_metric_cloud_function_name": "FUNCTION_NAME",
     

     Ersetzen Sie Folgendes:

     • CUSTOM_METRIC_NAME: Der Name des Messwerts, wie er durch den Schlüssel definiert wird, der dem final_score entspricht. Beispiel: custom_accuracy.
     • FUNCTION_NAME: der Name der Cloud Run-Funktion, die Sie zuvor bereitgestellt haben.

     Mehrere Standardmesswerte

     Wenn Sie mehrere Standardbewertungsmesswerte verwenden, nutzen Sie die folgenden Parameter:

     "eval_metrics_types": [EVALUATION_METRIC_LIST],
     "eval_metrics_weights": [EVAL_METRICS_WEIGHTS],
     "aggregation_type": "METRIC_AGGREGATION_TYPE",
     

     Ersetzen Sie Folgendes:

     • EVALUATION_METRIC_LIST: Eine Liste mit Messwerten für die Bewertung. muss ein Array sein. Beispiel: "bleu", "summarization_quality"
     • EVAL_METRICS_WEIGHTS: das Gewicht für jeden Messwert. Muss ein Array sein und dieselbe Länge wie EVALUATION_METRIC_LIST haben.
     • METRIC_AGGREGATION_TYPE: Der Typ der Aggregation, die für die Bewertungsstatistiken verwendet wird. Muss weighted_sum oder weighted_average sein. Wenn nicht festgelegt, ist der Standardwert weighted_sum.

     Mehrere Standard- und benutzerdefinierte Messwerte

     Wenn Sie mehrere Bewertungskennzahlen verwenden, die eine Mischung aus einem einzelnen benutzerdefinierten Messwert und einem oder mehreren Standardmesswerten enthalten, verwenden Sie die folgenden Parameter:

     "eval_metrics_types": ["custom_metric", EVALUATION_METRIC_LIST],
     "eval_metrics_weights": [EVAL_METRICS_WEIGHTS],
     "aggregation_type": "METRIC_AGGREGATION_TYPE",
     "custom_metric_name": "CUSTOM_METRIC_NAME",
     "custom_metric_cloud_function_name": "FUNCTION_NAME",
     

     Ersetzen Sie Folgendes:

     • EVALUATION_METRIC_LIST: Eine Liste der Standardmesswerte für die Bewertung. muss ein Array sein. Beispiel: "bleu", "summarization_quality"
     • EVAL_METRICS_WEIGHTS: das Gewicht für jeden Messwert. muss ein Array sein.
     • METRIC_AGGREGATION_TYPE: Der Typ der Aggregation, die für die Bewertungsstatistiken verwendet wird. Muss weighted_sum oder weighted_average sein. Wenn nicht festgelegt, ist der Standardwert weighted_sum.
     • CUSTOM_METRIC_NAME: Der Name des Messwerts, wie er durch den Schlüssel definiert wird, der mit dem final_score übereinstimmt. Beispiel: custom_accuracy
     • FUNCTION_NAME: der Name der Cloud Run-Funktion, die Sie zuvor bereitgestellt haben.

   • OPTIMIZATION_MODE: Der Optimierungsmodus. Muss instruction oder demonstration oder instruction_and_demo sein.

   • SAMPLE_PROMPT_URI: Der URI für die Beispielprompts in Ihrem Cloud Storage-Bucket. Beispiel: gs://bucket-name/sample-prompts.jsonl

   • OUTPUT_URI: Der URI für den Cloud Storage-Bucket, in den der datengesteuerte Optimierer die optimierten Systemanweisungen und/oder Few-Shot-Beispiele schreiben soll. Beispiel: gs://bucket-name/output-path.

2. Sie können Ihrer Konfigurationsdatei auch einen der optionalen Parameter hinzufügen.

   Optionale Parameter sind in fünf Kategorien unterteilt:

   • Parameter für den Optimierungsprozess: Diese Parameter steuern den gesamten Optimierungsprozess, einschließlich seiner Dauer und der Anzahl der Optimierungsiterationen, die ausgeführt werden. Dies wirkt sich direkt auf die Qualität der Optimierungen aus.
   • Modellauswahl und Standortparameter: Mit diesen Parametern wird angegeben, welche Modelle vom datengetriebenen Optimierungstool verwendet werden und an welchen Standorten diese Modelle zum Einsatz kommen.
   • Parameter für die Latenz (Abfragen pro Sekunde, QPS) Diese Parameter steuern die Anfragen pro Sekunde und wirken sich auf die Geschwindigkeit des Optimierungsprozesses aus.
   • Sonstige Andere Parameter, die die Struktur und den Inhalt von Prompts steuern.
     Optionale Parameter ansehen

     "num_steps": NUM_INST_OPTIMIZATION_STEPS,
     "num_demo_set_candidates": "NUM_DEMO_OPTIMIZATION_STEPS,
     "demo_set_size": NUM_DEMO_PER_PROMPT,
     "target_model_location": "TARGET_MODEL_LOCATION",
     "source_model": "SOURCE_MODEL",
     "source_model_location": "SOURCE_MODEL_LOCATION",
     "target_model_qps": TARGET_MODEL_QPS,
     "eval_qps": EVAL_QPS,
     "source_model_qps": SOURCE_MODEL_QPS,
     "response_mime_type": "RESPONSE_MIME_TYPE",
     "language": "TARGET_LANGUAGE",
     "placeholder_to_content": "PLACEHOLDER_TO_CONTENT",
     "data_limit": DATA_LIMIT
     

     Ersetzen Sie Folgendes:

     • Parameter für den Optimierungsprozess:

       • NUM_INST_OPTIMIZATION_STEPS: Die Anzahl der Iterationen, die der datengesteuerte Optimierer im Modus zur Optimierung von Anleitungen verwendet. Die Laufzeit steigt linear, wenn Sie diesen Wert erhöhen. Muss eine Ganzzahl zwischen 10 und 20 sein. Wenn nicht festgelegt, ist der Standardwert 10.
       • NUM_DEMO_OPTIMIZATION_STEPS: Die Anzahl der Demonstrationen, die vom datengesteuerten Optimierungstool ausgewertet werden. Wird mit dem Optimierungsmodus demonstration und instruction_and_demo verwendet. Muss eine Ganzzahl zwischen 2 und der Gesamtzahl der Beispielprompts – 1 sein. Wenn nicht festgelegt, ist der Standardwert 10.
       • NUM_DEMO_PER_PROMPT: Die Anzahl der Demonstrationen, die pro Prompt generiert werden. Muss eine Ganzzahl zwischen 3 und 6 sein. Wenn nicht festgelegt, ist der Standardwert 3.

     • Modellauswahl und Standortparameter:

       • TARGET_MODEL_LOCATION: Standort, an dem das Zielmodell ausgeführt werden soll. Wenn nicht festgelegt, ist der Standardwert us-central1.
       • SOURCE_MODEL: Das Google-Modell, mit dem die Systemanweisungen und Prompts zuvor verwendet wurden. Wenn der Parameter source_model festgelegt ist, führt der datengetriebene Optimierer Ihre Beispielprompts im Quellmodell aus, um die Grundwahrheit-Antworten für Sie zu generieren. Das ist für Bewertungsmesswerte erforderlich, für die Grundwahrheit-Antworten erforderlich sind. Wenn Sie Ihre Prompts zuvor nicht mit einem Google-Modell ausgeführt haben oder die gewünschten Ergebnisse nicht erzielt haben, fügen Sie Ihrem Prompt stattdessen Grundwahrheit-Antworten hinzu. Weitere Informationen finden Sie in diesem Dokument im Abschnitt Prompt und Systemanweisungen erstellen.
       • SOURCE_MODEL_LOCATION: Standort, an dem das Quellmodell ausgeführt werden soll. Wenn nicht festgelegt, ist der Standardwert us-central1.

     • Parameter für die Latenz (Abfragen pro Sekunde, QPS):

       • TARGET_MODEL_QPS: Die Anfragen pro Sekunde (Queries per Second, QPS), die der datengesteuerte Optimierer an das Zielmodell sendet. Die Laufzeit nimmt linear ab, wenn Sie diesen Wert erhöhen. Muss ein Gleitkommazahl sein, der mindestens 3.0 beträgt, aber kleiner als das QPS-Kontingent ist, das Sie für das Zielmodell haben. Wenn nicht festgelegt, ist der Standardwert 3.0.
       • EVAL_QPS: Die Anfragen pro Sekunde (QPS), die der datengesteuerte Optimierer an den Gen AI-Bewertungsdienst oder die Cloud Run-Funktion sendet.
         • Bei modellbasierten Messwerten muss es sich um eine Gleitkommazahl handeln, die 3.0 oder größer ist. Wenn nicht festgelegt, ist der Standardwert 3.0.
         • Bei benutzerdefinierten Messwerten muss es sich um eine Gleitkommazahl handeln, die 3.0 oder größer ist. Damit wird die Häufigkeit festgelegt, mit der der datengesteuerte Optimierer Ihre Cloud Run-Funktionen mit benutzerdefinierten Messwerten aufruft.
       • SOURCE_MODEL_QPS: Die Anzahl der Abfragen pro Sekunde (Queries per Second, QPS), die der datengetriebene Optimierer an das Quellmodell sendet. Muss ein Gleitkommazahl sein, der mindestens 3.0, aber kleiner als das Abfragekontingent pro Sekunde für das Quellmodell ist. Wenn nicht festgelegt, ist der Standardwert 3.0.

     • Sonstige Parameter:

       • RESPONSE_MIME_TYPE: Der MIME-Antworttyp, der vom Zielmodell verwendet wird. Muss text/plain oder application/json sein. Wenn nicht festgelegt, ist der Standardwert text/plain.
       • TARGET_LANGUAGE: die Sprache der Systemanweisungen. Wenn nicht festgelegt, ist die Standardsprache Englisch.
       • PLACEHOLDER_TO_CONTENT: Die Informationen, die alle Variablen in den Systemanweisungen ersetzen. Informationen, die in diesem Flag enthalten sind, werden nicht vom datengetriebenen Prompt-Optimierungstool optimiert.
       • DATA_LIMIT: die Menge der für die Validierung verwendeten Daten. Die Laufzeit steigt linear mit diesem Wert. Muss eine Ganzzahl zwischen 5 und 100 sein. Wenn nicht festgelegt, ist der Standardwert 100.

3. Laden Sie die JSON-Datei in einen Cloud Storage-Bucket hoch.

Notebook

Führen Sie den datengetriebenen Optimierer über das Notebook aus. Gehen Sie dazu so vor:

1. Öffnen Sie in Colab Enterprise das Vertex AI-Notebook für den Prompt-Optimierer.

   Zum Notebook für den datengetriebenen Optimierer

2. Klicken Sie im Bereich Prompt-Optimierungstool ausführen auf play_circle Zelle ausführen.

   Der datengestützte Optimierer wird ausgeführt.

REST

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

• LOCATION: Der Standort, an dem Sie den Vertex AI-Prompt-Optimierer ausführen möchten.
• PROJECT_ID: Ihre Projekt-ID.
• JOB_NAME: Ein Name für den Vertex AI-Prompt-Optimierer-Job.
• PATH_TO_CONFIG: Der URI der Konfigurationsdatei in Ihrem Cloud Storage-Bucket. Beispiel: gs://bucket-name/configuration.json.

HTTP-Methode und URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs

JSON-Text der Anfrage:

{
  "displayName": "JOB_NAME",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "n1-standard-4"
        },
        "replicaCount": 1,
        "containerSpec": {
          "imageUri": "us-docker.pkg.dev/vertex-ai-restricted/builtin-algorithm/apd:preview_v1_0",
          "args": ["--config=PATH_TO_CONFIG""]
        }
      }
    ]
  }
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs" | Select-Object -Expand Content

Die Antwort sieht dann ungefähr so aus:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/customJobs/JOB_ID",
  "displayName": "JOB_NAME",
    "jobSpec": {
      "workerPoolSpecs": [
        {
        "machineSpec": {
              "machineType": "n1-standard-4"
          },
          "replicaCount": "1",
          "diskSpec": {
            "bootDiskType": "pd-ssd",
            "bootDiskSizeGb": 100
          },
          "containerSpec": {
            "imageUri": "us-docker.pkg.dev/vertex-ai-restricted/builtin-algorithm/apd:preview_v1_0"
            "args": [
            "--config=https://storage.mtls.cloud.google.com/testing-apd/testing-config.json"
          ]
          }
        }
      ]
    },
  "state": "JOB_STATE_PENDING",
  "createTime": "2020-09-15T19:09:54.342080Z",
  "startTime": "2020-09-15T19:13:42.991045Z",
}

SDK

Führen Sie den datengesteuerten Optimierer über das SDK aus, indem Sie die folgenden Codeabschnitte in Ihr Colab oder Notebook einfügen.

Ersetzen Sie die folgenden Werte:

• LOCATION: Der Ort, an dem Sie den datengesteuerten Optimierer ausführen möchten.
• PROJECT_ID: Ihre Projekt-ID.
• PROJECT_NUMBER: Ihre Projektnummer, die in der Cloud Console verfügbar ist.
• PATH_TO_CONFIG: Der URI der Konfigurationsdatei in Cloud Storage. Beispiel: gs://bucket-name/configuration.json.

# Authenticate
from google.colab import auth
auth.authenticate_user(project_id=PROJECT_ID)

# Set the Service Account
SERVICE_ACCOUNT = f"{PROJECT_NUMBER}-compute@developer.gserviceaccount.com"

# Import Vertex AI SDK and Setup
import vertexai
vertexai.init(project=PROJECT_ID, location=LOCATION)

#Create the Vertex AI Client
client = vertexai.Client(project=PROJECT_ID, location=LOCATION)

# Setup the job dictionary
vapo_config = {
  'config_path': PATH_TO_CONFIG,
  'service_account': SERVICE_ACCOUNT,
  'wait_for_completion': True,
}

#Start the Vertex AI Prompt Optimizer
client = client.prompt_optimizer.optimize(method="vapo", config=vapo_config)

Sehen Sie sich nach Abschluss der Optimierung die Ausgabeartefakte am in der Konfiguration angegebenen Ausgabespeicherort an.

Notebook

So rufen Sie die Ergebnisse des datengetriebenen Optimierers über das Notebook auf:

1. Öffnen Sie das Vertex AI-Notebook für den Prompt-Optimierer.

2. Führen Sie im Abschnitt Ergebnisse prüfen folgende Schritte aus:

   1. Fügen Sie im Feld RESULT_PATH den URI des Cloud Storage-Buckets hinzu, in den der datengesteuerte Optimierer Ergebnisse schreiben soll. Beispiel: gs://bucket-name/output-path.

   2. Klicken Sie auf play_circle Zelle ausführen.

Console

1. Wechseln Sie in der Google Cloud Console unter „Vertex AI“ zur Seite Trainingspipelines.

   Zur Trainingspipeline

2. Klicken Sie auf den Tab Benutzerdefinierte Jobs. Der benutzerdefinierte Trainingsjob des datengesteuerten Optimizers wird zusammen mit seinem Status in der Liste angezeigt.

Wenn der Job abgeschlossen ist, können Sie die Optimierungen so überprüfen:

1. Wechseln Sie in der Google Cloud Console unter „Cloud Storage“ zur Seite Buckets:

   Buckets aufrufen

2. Klicken Sie den Name Ihres Cloud Storage-Buckets

3. Rufen Sie den Ordner auf, der den Namen des Optimierungsmodus hat, mit dem Sie die Prompts bewertet haben, also entweder instruction oder demonstration. Wenn Sie den Modus instruction_and_demo verwendet haben, werden beide Ordner angezeigt. Der Ordner instruction enthält die Ergebnisse der Systemanweisungsoptimierung, während der Ordner demonstration die Ergebnisse der demonstration-Optimierung und die optimierten Systemanweisungen enthält.

   Der Ordner enthält die folgenden Dateien:

   • config.json: die vollständige Konfiguration, die der Vertex AI-Prompt-Optimierer verwendet hat.
   • templates.json: jede Gruppe von Systemanweisungen und/oder Few-Shot-Beispielen, die der datengesteuerte Optimierer generiert hat und deren Bewertung.
   • eval_results.json: Die Antwort des Zielmodells für jeden Beispiel-Prompt, für jeden Satz generierter Systemanweisungen und/oder Few-Shot-Beispiele und deren Bewertungsbewertung.
   • optimized_results.json: Die leistungsstärksten Systemanweisungen und/oder Few-Shot-Beispiele und deren Bewertungsbewertung.

4. Die optimierten Systemanweisungen finden Sie in der Datei optimized_results.json.