Valutare gli agenti di IA generativa

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Dopo aver creato e valutato il modello di IA generativa, puoi utilizzarlo per creare un agente come un chatbot. Il servizio di valutazione dell'IA generativa ti consente di misurare la capacità dell'agente di completare attività e obiettivi per il tuo caso d'uso.

Panoramica

Per valutare il tuo agente, hai a disposizione le seguenti opzioni:

• Valutazione della risposta finale: valuta l'output finale di un agente (indipendentemente dal fatto che abbia raggiunto o meno il suo obiettivo).

• Valutazione della traiettoria: valuta il percorso (sequenza di chiamate allo strumento) seguito dall'agente per raggiungere la risposta finale.

Con il servizio di valutazione dell'IA generativa, puoi attivare l'esecuzione di un agente e ottenere metriche sia per la valutazione della traiettoria sia per la valutazione della risposta finale in una singola query dell'SDK Vertex AI.

Agenti supportati

Il servizio di valutazione dell'IA generativa supporta le seguenti categorie di agenti:

Definizione delle metriche per la valutazione degli agenti

Definisci le metriche per la valutazione della risposta finale o della traiettoria:

Valutazione della risposta finale

La valutazione della risposta finale segue la stessa procedura della valutazione della risposta del modello. Per ulteriori informazioni, consulta Definire le metriche di valutazione.

Valutazione della traiettoria

Le seguenti metriche ti aiutano a valutare la capacità del modello di seguire la traiettoria prevista:

Inoltre, per impostazione predefinita ai risultati della valutazione vengono aggiunte le seguenti due metriche sul rendimento dell'agente. Non è necessario specificarli in EvalTask.

Preparare il set di dati per la valutazione dell'agente

Prepara il set di dati per la valutazione finale della risposta o della traiettoria.

Lo schema di dati per la valutazione della risposta finale è simile a quello della valutazione della risposta del modello.

Per la valutazione della traiettoria basata su calcolo, il set di dati deve fornire le seguenti informazioni:

Esempi di set di dati di valutazione

Gli esempi riportati di seguito mostrano i set di dati per la valutazione della traiettoria. Tieni presente che reference_trajectory è obbligatorio per tutte le metriche, ad eccezione di trajectory_single_tool_use.

reference_trajectory = [
# example 1
[
  {
    "tool_name": "set_device_info",
    "tool_input": {
        "device_id": "device_2",
        "updates": {
            "status": "OFF"
        }
    }
  }
],
# example 2
[
    {
      "tool_name": "get_user_preferences",
      "tool_input": {
          "user_id": "user_y"
      }
  },
  {
      "tool_name": "set_temperature",
      "tool_input": {
          "location": "Living Room",
          "temperature": 23
      }
    },
  ]
]

predicted_trajectory = [
# example 1
[
  {
    "tool_name": "set_device_info",
    "tool_input": {
        "device_id": "device_3",
        "updates": {
            "status": "OFF"
        }
    }
  }
],
# example 2
[
    {
      "tool_name": "get_user_preferences",
      "tool_input": {
          "user_id": "user_z"
      }
    },
    {
      "tool_name": "set_temperature",
      "tool_input": {
          "location": "Living Room",
          "temperature": 23
      }
    },
  ]
]

eval_dataset = pd.DataFrame({
    "predicted_trajectory": predicted_trajectory,
    "reference_trajectory": reference_trajectory,
})

Importa il set di dati di valutazione

Puoi importare il set di dati nei seguenti formati:

• File JSONL o CSV archiviato in Cloud Storage

• Tabella BigQuery

• DataFrame Pandas

Il servizio di valutazione dell'IA generativa fornisce set di dati pubblici di esempio per dimostrare come puoi valutare i tuoi agenti. Il codice seguente mostra come importare i set di dati pubblici da un bucket Cloud Storage:

# dataset name to be imported
dataset = "on-device" # Alternatives: "customer-support", "content-creation"

# copy the tools and dataset file
!gcloud storage cp gs://cloud-ai-demo-datasets/agent-eval-datasets/{dataset}/tools.py .
!gcloud storage cp gs://cloud-ai-demo-datasets/agent-eval-datasets/{dataset}/eval_dataset.json .

# load the dataset examples
import json

eval_dataset = json.loads(open('eval_dataset.json').read())

# run the tools file
%run -i tools.py

dove dataset è uno dei seguenti set di dati pubblici:

• "on-device" per un assistente domestico on-device che controlla i dispositivi di casa. L'agente risponde a query come "Pianifica l'aria condizionata in camera da letto in modo che sia accesa tra le 23:00 e le 08:00 e spenta per il resto del tempo".

• "customer-support" per contattare un addetto all'assistenza clienti. L'agente risponde a query come "Puoi annullare gli ordini in attesa e riassegnare i ticket di assistenza aperti?"

• "content-creation" per un agente di creazione di contenuti di marketing. L'agente aiuta con query come "Riprogramma la campagna X come campagna una tantum sul sito di social media Y con un budget ridotto del 50%, solo il 25 dicembre 2024".

Esegui la valutazione dell'agente

Esegui una valutazione della traiettoria o della risposta finale:

Per la valutazione dell'agente, puoi combinare le metriche di valutazione della risposta e quelle di valutazione della traiettoria, come nel seguente codice:

single_tool_use_metric = TrajectorySingleToolUse(tool_name='tool_name')

eval_task = EvalTask(
    dataset=EVAL_DATASET,
    metrics=[
        "rouge_l_sum",
        "bleu",
        custom_trajectory_eval_metric, # custom computation-based metric
        "trajectory_exact_match",
        "trajectory_precision",
        single_tool_use_metric,
        response_follows_trajectory_metric # llm-based metric
    ],
)
eval_result = eval_task.evaluate(
    runnable=RUNNABLE,
)

Personalizzazione delle metriche

Puoi personalizzare una metrica basata su modelli linguistici di grandi dimensioni per la valutazione della traiettoria utilizzando un'interfaccia basata su modelli o da zero. Per maggiori dettagli, consulta la sezione sulle metriche basate su modelli. Ecco un esempio di modello:

response_follows_trajectory_prompt_template = PointwiseMetricPromptTemplate(
    criteria={
        "Follows trajectory": (
            "Evaluate whether the agent's response logically follows from the "
            "sequence of actions it took. Consider these sub-points:\n"
            "  - Does the response reflect the information gathered during the trajectory?\n"
            "  - Is the response consistent with the goals and constraints of the task?\n"
            "  - Are there any unexpected or illogical jumps in reasoning?\n"
            "Provide specific examples from the trajectory and response to support your evaluation."
        )
    },
    rating_rubric={
        "1": "Follows trajectory",
        "0": "Does not follow trajectory",
    },
    input_variables=["prompt", "predicted_trajectory"],
)

response_follows_trajectory_metric = PointwiseMetric(
    metric="response_follows_trajectory",
    metric_prompt_template=response_follows_trajectory_prompt_template,
)

Puoi anche definire una metrica basata su calcoli personalizzati per la valutazione della traiettoria o della risposta come segue:

def essential_tools_present(instance, required_tools = ["tool1", "tool2"]):
    trajectory = instance["predicted_trajectory"]
    tools_present = [tool_used['tool_name'] for tool_used in trajectory]
    if len(required_tools) == 0:
      return {"essential_tools_present": 1}
    score = 0
    for tool in required_tools:
      if tool in tools_present:
        score += 1
    return {
        "essential_tools_present": score/len(required_tools),
    }

custom_trajectory_eval_metric = CustomMetric(name="essential_tools_present", metric_function=essential_tools_present)

Visualizzare e interpretare i risultati

Per la valutazione della traiettoria o la valutazione della risposta finale, i risultati della valutazione vengono visualizzati come segue:

I risultati della valutazione contengono le seguenti informazioni:

Passaggi successivi

Prova i seguenti notebook per la valutazione degli agenti:

• Valutare un agente Langraph

• Valutare un agente CrewAI

• Valutare un agente Langchain con Agent Engine

• Valutare un agente LangGraph con Agent Engine

• Valutare un agente CrewAI con Agent Engine