Esegui la pipeline AutoSxS per eseguire una valutazione basata su modelli a coppie

Riassunto

L'attività summarization ha un limite di token di input di 4096.

Di seguito è riportato l'elenco dei criteri di valutazione per summarization:

Risposta alla domanda

L'attività question_answering ha un limite di token di input di 4096.

Di seguito è riportato l'elenco dei criteri di valutazione per question_answering:

Gemini

Per i modelli Gemini, le chiavi per i parametri del prompt del modello sono contents (obbligatorio) e system_instruction (facoltativo), che sono in linea con lo schema del corpo della richiesta Gemini.

model_a_prompt_parameters={
    'contents': {
        'column': 'context'
    },
    'system_instruction': {'template': '{{ default_instruction }}'},
},

text-bison

Ad esempio, text-bison utilizza "prompt" per l'input e "contenuto" per l'output. Segui questi passaggi:

1. Identifica gli input e gli output necessari per i modelli in fase di valutazione.
2. Definisci gli input come parametri del prompt del modello.
3. Passa l'output alla colonna di risposta.

model_a_prompt_parameters={
    'prompt': {
        'template': {
            'Answer the following question from the point of view of a college professor: {{ context }}\n{{ question }}'
        },
    },
},
response_column_a='content',  # Column in Model A response.
response_column_b='model_b_response',  # Column in eval dataset.

REST

Per creare un job di valutazione del modello, invia una richiesta POST utilizzando il metodo pipelineJobs.

Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

• PIPELINEJOB_DISPLAYNAME : nome visualizzato per pipelineJob.
• PROJECT_ID : Google Cloud progetto che esegue i componenti della pipeline.
• LOCATION : la regione in cui eseguire i componenti della pipeline. us-central1 è supportato.
• OUTPUT_DIR : URI Cloud Storage per archiviare l'output della valutazione.
• EVALUATION_DATASET : tabella BigQuery o elenco separato da virgole di percorsi Cloud Storage a un set di dati JSONL contenente esempi di valutazione.
• TASK : attività di valutazione, che può essere una delle seguenti: [summarization, question_answering].
• ID_COLUMNS : le colonne che distinguono gli esempi di valutazione univoci.
• AUTORATER_PROMPT_PARAMETERS : Parametri del prompt di valutazione automatica mappati su colonne o modelli. I parametri previsti sono: inference_instruction (dettagli su come eseguire un'attività) e inference_context (contenuti a cui fare riferimento per eseguire l'attività). Ad esempio, {'inference_context': {'column': 'my_prompt'}} utilizza la colonna `my_prompt` del set di dati di valutazione per il contesto dell'autorater.
• RESPONSE_COLUMN_A : il nome di una colonna nel set di dati di valutazione contenente previsioni predefinite o il nome della colonna nell'output del modello A contenente previsioni. Se non viene fornito alcun valore, il sistema tenterà di dedurre il nome corretto della colonna di output del modello.
• RESPONSE_COLUMN_B : il nome di una colonna nel set di dati di valutazione contenente previsioni predefinite o il nome della colonna nell'output del modello B contenente le previsioni. Se non viene fornito alcun valore, il sistema tenterà di dedurre il nome corretto della colonna di output del modello.
• MODEL_A (facoltativo): un nome della risorsa del modello completo (projects/{project}/locations/{location}/models/{model}@{version}) o un nome della risorsa del modello del publisher (publishers/{publisher}/models/{model}). Se vengono specificate le risposte del modello A, questo parametro non deve essere fornito.
• MODEL_B (Facoltativo): un nome di risorsa del modello completo (projects/{project}/locations/{location}/models/{model}@{version}) o un nome di risorsa del modello dell'editore (publishers/{publisher}/models/{model}). Se vengono specificate le risposte del modello B, questo parametro non deve essere fornito.
• (Facoltativo) MODEL_A_PROMPT_PARAMETERS: parametri del modello di prompt del modello A mappati a colonne o modelli. Se le risposte del modello A sono predefinite, questo parametro non deve essere fornito. Esempio: {'prompt': {'column': 'my_prompt'}} utilizza la colonna my_prompt del set di dati di valutazione per il parametro del prompt denominato prompt.
• MODEL_B_PROMPT_PARAMETERS (Facoltativo): parametri del modello di prompt del modello B mappati a colonne o modelli. Se le risposte del modello B sono predefinite, questo parametro non deve essere fornito. Esempio: {'prompt': {'column': 'my_prompt'}} utilizza la colonna my_prompt del set di dati di valutazione per il parametro del prompt denominato prompt.
• JUDGMENTS_FORMAT (facoltativo): il formato in cui scrivere i giudizi. Può essere jsonl (valore predefinito), json o bigquery.
• BIGQUERY_DESTINATION_PREFIX: tabella BigQuery in cui scrivere i giudizi se il formato specificato è bigquery.

Corpo JSON della richiesta

  {
    "displayName": "PIPELINEJOB_DISPLAYNAME",
    "runtimeConfig": {
        "gcsOutputDirectory": "gs://OUTPUT_DIR",
        "parameterValues": {
            "evaluation_dataset": "EVALUATION_DATASET",
            "id_columns": ["ID_COLUMNS"],
            "task": "TASK",
            "autorater_prompt_parameters": AUTORATER_PROMPT_PARAMETERS,
            "response_column_a": "RESPONSE_COLUMN_A",
            "response_column_b": "RESPONSE_COLUMN_B",
            "model_a": "MODEL_A",
            "model_a_prompt_parameters": MODEL_A_PROMPT_PARAMETERS,
            "model_b": "MODEL_B",
            "model_b_prompt_parameters": MODEL_B_PROMPT_PARAMETERS,
            "judgments_format": "JUDGMENTS_FORMAT",
            "bigquery_destination_prefix":BIGQUERY_DESTINATION_PREFIX,
        },
    },
    "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default"
  }

Utilizza curl per inviare la richiesta.

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs"

Risposta

  "state": "PIPELINE_STATE_PENDING",
  "labels": {
    "vertex-ai-pipelines-run-billing-id": "1234567890123456789"
  },
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://my-evaluation-bucket/output",
    "parameterValues": {
      "evaluation_dataset": "gs://my-evaluation-bucket/output/data.json",
      "id_columns": [
        "context"
      ],
      "task": "question_answering",
      "autorater_prompt_parameters": {
        "inference_instruction": {
          "template": "Answer the following question: {{ question }} }."
        },
        "inference_context": {
          "column": "context"
        }
      },
      "response_column_a": "",
      "response_column_b": "response_b",
      "model_a": "publishers/google/models/text-bison@002",
      "model_a_prompt_parameters": {
        "prompt": {
          "template": "Answer the following question from the point of view of a college professor: {{ question }}\n{{ context }} }"
        }
      },
      "model_b": "",
      "model_b_prompt_parameters": {}
    }
  },
  "serviceAccount": "123456789012-compute@developer.gserviceaccount.com",
  "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default",
  "templateMetadata": {
    "version": "sha256:7366b784205551ed28f2c076e841c0dbeec4111b6df16743fc5605daa2da8f8a"
  }
}

SDK Vertex AI per Python

Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per ulteriori informazioni sull'API Python, consulta l'API SDK Vertex AI per Python.

Per saperne di più sui parametri della pipeline, consulta la documentazione di riferimento di Google Cloud Pipeline Components.

Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

• PIPELINEJOB_DISPLAYNAME : nome visualizzato per pipelineJob.
• PROJECT_ID : Google Cloud progetto che esegue i componenti della pipeline.
• LOCATION : la regione in cui eseguire i componenti della pipeline. us-central1 è supportato.
• OUTPUT_DIR : URI Cloud Storage per archiviare l'output della valutazione.
• EVALUATION_DATASET : tabella BigQuery o elenco separato da virgole di percorsi Cloud Storage a un set di dati JSONL contenente esempi di valutazione.
• TASK : attività di valutazione, che può essere una delle seguenti: [summarization, question_answering].
• ID_COLUMNS : le colonne che distinguono gli esempi di valutazione univoci.
• AUTORATER_PROMPT_PARAMETERS : Parametri del prompt di valutazione automatica mappati su colonne o modelli. I parametri previsti sono: inference_instruction (dettagli su come eseguire un'attività) e inference_context (contenuti a cui fare riferimento per eseguire l'attività). Ad esempio, {'inference_context': {'column': 'my_prompt'}} utilizza la colonna `my_prompt` del set di dati di valutazione per il contesto dell'autorater.
• RESPONSE_COLUMN_A : il nome di una colonna nel set di dati di valutazione contenente previsioni predefinite o il nome della colonna nell'output del modello A contenente previsioni. Se non viene fornito alcun valore, il sistema tenterà di dedurre il nome corretto della colonna di output del modello.
• RESPONSE_COLUMN_B : il nome di una colonna nel set di dati di valutazione contenente previsioni predefinite o il nome della colonna nell'output del modello B contenente le previsioni. Se non viene fornito alcun valore, il sistema tenterà di dedurre il nome corretto della colonna di output del modello.
• MODEL_A (facoltativo): un nome della risorsa del modello completo (projects/{project}/locations/{location}/models/{model}@{version}) o un nome della risorsa del modello del publisher (publishers/{publisher}/models/{model}). Se vengono specificate le risposte del modello A, questo parametro non deve essere fornito.
• MODEL_B (Facoltativo): un nome di risorsa del modello completo (projects/{project}/locations/{location}/models/{model}@{version}) o un nome di risorsa del modello dell'editore (publishers/{publisher}/models/{model}). Se vengono specificate le risposte del modello B, questo parametro non deve essere fornito.
• (Facoltativo) MODEL_A_PROMPT_PARAMETERS: parametri del modello di prompt del modello A mappati a colonne o modelli. Se le risposte del modello A sono predefinite, questo parametro non deve essere fornito. Esempio: {'prompt': {'column': 'my_prompt'}} utilizza la colonna my_prompt del set di dati di valutazione per il parametro del prompt denominato prompt.
• MODEL_B_PROMPT_PARAMETERS (Facoltativo): parametri del modello di prompt del modello B mappati a colonne o modelli. Se le risposte del modello B sono predefinite, questo parametro non deve essere fornito. Esempio: {'prompt': {'column': 'my_prompt'}} utilizza la colonna my_prompt del set di dati di valutazione per il parametro del prompt denominato prompt.
• JUDGMENTS_FORMAT (facoltativo): il formato in cui scrivere i giudizi. Può essere jsonl (valore predefinito), json o bigquery.
• BIGQUERY_DESTINATION_PREFIX: tabella BigQuery in cui scrivere i giudizi se il formato specificato è bigquery.

import os
from google.cloud import aiplatform
parameters = {
    'evaluation_dataset': 'EVALUATION_DATASET',
    'id_columns': ['ID_COLUMNS'],
    'task': 'TASK',
    'autorater_prompt_parameters': AUTORATER_PROMPT_PARAMETERS,
    'response_column_a': 'RESPONSE_COLUMN_A',
    'response_column_b': 'RESPONSE_COLUMN_B',
    'model_a': 'MODEL_A',
    'model_a_prompt_parameters': MODEL_A_PROMPT_PARAMETERS,
    'model_b': 'MODEL_B',
    'model_b_prompt_parameters': MODEL_B_PROMPT_PARAMETERS,
    'judgments_format': 'JUDGMENTS_FORMAT',
    'bigquery_destination_prefix':
    BIGQUERY_DESTINATION_PREFIX,
}
aiplatform.init(project='PROJECT_ID', location='LOCATION', staging_bucket='gs://OUTPUT_DIR')
aiplatform.PipelineJob(
    display_name='PIPELINEJOB_DISPLAYNAME',
    pipeline_root=os.path.join('gs://OUTPUT_DIR', 'PIPELINEJOB_DISPLAYNAME'),
    template_path=(
      'https://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default'),
    parameter_values=parameters,
).run()

Console

Per creare un job di valutazione del modello pairwise utilizzando la console Google Cloud , segui questi passaggi:

1. Inizia con un modello di base di Google o utilizza un modello già esistente in Vertex AI Model Registry:

   • Per valutare un modello di base di Google:

     1. Vai a Vertex AI Model Garden e seleziona un modello che supporti la valutazione a coppie, ad esempio text-bison.

        Vai a Model Garden

     2. Fai clic su Valuta.

     3. Nel menu visualizzato, fai clic su Seleziona per selezionare una versione del modello.

     4. Un riquadro Salva modello potrebbe chiederti di salvare una copia del modello in Vertex AI Model Registry se non ne hai già una. Inserisci un Nome modello e fai clic su Salva.

     5. Viene visualizzata la pagina Crea valutazione. Per il passaggio Metodo di valutazione, seleziona Valuta questo modello rispetto a un altro modello.

     6. Fai clic su Continua.

   • Per valutare un modello esistente in Vertex AI Model Registry:

     1. Vai alla pagina Vertex AI Model Registry:

        Vai a Vertex AI Model Registry

     2. Fai clic sul nome del modello da valutare. Assicurati che il tipo di modello supporti la valutazione a coppie. Ad esempio, text-bison.

     3. Nella scheda Valuta, fai clic su SxS.

     4. Fai clic su Crea valutazione affiancata.

2. Per ogni passaggio della pagina di creazione della valutazione, inserisci le informazioni richieste e fai clic su Continua:

   1. Per il passaggio Set di dati di valutazione, seleziona un obiettivo di valutazione e un modello da confrontare con quello selezionato. Seleziona un set di dati di valutazione e inserisci le colonne ID (colonne di risposta).

   2. Per il passaggio Impostazioni modello, specifica se vuoi utilizzare le risposte del modello già presenti nel set di dati o se vuoi utilizzare la previsione batch di Vertex AI per generare le risposte. Specifica le colonne di risposta per entrambi i modelli. Per l'opzione Vertex AI Batch Prediction, puoi specificare i parametri del prompt del modello di inferenza.

   3. Per il passaggio Impostazioni di Autorater, inserisci i parametri del prompt di Autorater e una posizione di output per le valutazioni.

3. Fai clic su Inizia valutazione.

Confrontare i modelli

Valuta un modello proprietario (1p) ottimizzato rispetto a un modello proprietario di riferimento.

Puoi specificare che l'inferenza venga eseguita su entrambi i modelli contemporaneamente.

Questo esempio di codice valuta un modello ottimizzato da Vertex Model Registry rispetto a un modello di riferimento dello stesso registro.

# Evaluation dataset schema:
#   my_question: str
#   my_context: str
parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters': {
      'inference_instruction': {'column': 'my_question'},
      'inference_context': {'column': 'my_context'},
  },
    'model_a': 'publishers/google/models/text-bison@002',
    'model_a_prompt_parameters': {QUESTION: {'template': '{{my_question}}\nCONTEXT: {{my_context}}'}},
  'response_column_a': 'content',
    'model_b': 'projects/abc/locations/abc/models/tuned_bison',
    'model_b_prompt_parameters': {'prompt': {'template': '{{my_context}}\n{{my_question}}'}},
  'response_column_b': 'content',
}

Confronta previsioni

Valuta un modello ottimizzato di terze parti rispetto a un modello di riferimento di terze parti.

Puoi saltare l'inferenza fornendo direttamente le risposte del modello.

Questo esempio di codice valuta un modello di terze parti ottimizzato rispetto a un modello di terze parti di riferimento.

# Evaluation dataset schema:
#   my_question: str
#   my_context: str
#   response_b: str

parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters':
        'inference_instruction': {'column': 'my_question'},
        'inference_context': {'column': 'my_context'},
    },
    'response_column_a': 'content',
    'response_column_b': 'response_b',
}

Controllare l'allineamento

Tutte le attività supportate sono state sottoposte a benchmark utilizzando i dati dei valutatori umani per garantire che le risposte dello strumento di valutazione automatica siano in linea con le preferenze umane. Se vuoi confrontare AutoSxS per i tuoi casi d'uso, fornisci i dati delle preferenze umane direttamente ad AutoSxS, che restituisce statistiche aggregate di allineamento.

Per verificare l'allineamento rispetto a un set di dati con le preferenze umane, puoi specificare entrambi gli output (risultati della previsione) per l'autorater. Puoi anche fornire i risultati dell'inferenza.

Questo esempio di codice verifica che i risultati e le spiegazioni dell'autorater corrispondano alle tue aspettative.

# Evaluation dataset schema:
#  my_question: str
#  my_context: str
#   response_a: str
#   response_b: str
#   actual: str
parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters': {
      'inference_instruction': {'column': 'my_question'},
      'inference_context': {'column': 'my_context'},
  },
  'response_column_a': 'response_a',
  'response_column_b': 'response_b',
  'human_preference_column': 'actual',
}