Monitorare un agente

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Questa pagina mostra come attivare Cloud Trace nell'agente e visualizzare le tracce per analizzare i tempi di risposta delle query e le operazioni eseguite.

Una traccia è una sequenza temporale delle richieste mentre l'agente risponde a ogni query. Ad esempio, il seguente grafico di Gantt mostra una traccia di esempio di un LangchainAgent:

La prima riga del grafico di Gantt è per la traccia. Una traccia è composta da singoli span, che rappresentano una singola unità di lavoro, ad esempio una chiamata di funzione o un'interazione con un LLM, con il primo span che rappresenta la richiesta complessiva. Ogni span fornisce dettagli su un'operazione specifica, ad esempio il nome dell'operazione, le ore di inizio e di fine e gli eventuali attributi pertinenti all'interno della richiesta. Ad esempio, il seguente JSON mostra un singolo intervallo che rappresenta una chiamata a un modello linguistico di grandi dimensioni (LLM):

  {
    "name": "llm",
    "context": {
        "trace_id": "ed7b336d-e71a-46f0-a334-5f2e87cb6cfc",
        "span_id": "ad67332a-38bd-428e-9f62-538ba2fa90d4"
    },
    "span_kind": "LLM",
    "parent_id": "f89ebb7c-10f6-4bf8-8a74-57324d2556ef",
    "start_time": "2023-09-07T12:54:47.597121-06:00",
    "end_time": "2023-09-07T12:54:49.321811-06:00",
    "status_code": "OK",
    "status_message": "",
    "attributes": {
        "llm.input_messages": [
            {
                "message.role": "system",
                "message.content": "You are an expert Q&A system that is trusted around the world.\nAlways answer the query using the provided context information, and not prior knowledge.\nSome rules to follow:\n1. Never directly reference the given context in your answer.\n2. Avoid statements like 'Based on the context, ...' or 'The context information ...' or anything along those lines."
            },
            {
                "message.role": "user",
                "message.content": "Hello?"
            }
        ],
        "output.value": "assistant: Yes I am here",
        "output.mime_type": "text/plain"
    },
    "events": [],
  }

Per maggiori dettagli, consulta la documentazione di Cloud Trace su Tracce e intervalli e Contesto traccia.

Scrivere tracce per un agente

Per scrivere tracce per un agente:

from vertexai.preview.reasoning_engines import LangchainAgent

agent = LangchainAgent(
    model=model,                # Required.
    tools=[get_exchange_rate],  # Optional.
    enable_tracing=True,        # [New] Optional.
)

from vertexai.preview.reasoning_engines import LanggraphAgent

agent = LanggraphAgent(
    model=model,                # Required.
    tools=[get_exchange_rate],  # Optional.
    enable_tracing=True,        # [New] Optional.
)

In questo modo, le tracce verranno esportate in Cloud Trace nel progetto descritto in Configurare il progetto Google Cloud.

Visualizzare le tracce per un agente

Puoi visualizzare le tracce utilizzando Esplora tracce:

1. Per ottenere le autorizzazioni per visualizzare i dati delle tracce nella console Google Cloud o selezionare un ambito di traccia, chiedi all'amministratore di concederti il ruolo IAM Utente Cloud Trace (roles/cloudtrace.user) nel progetto.

2. Vai a Trace Explorer nella console Google Cloud:

   Vai a Trace Explorer

3. Seleziona il tuo Google Cloud progetto (corrispondente a PROJECT_ID) nella parte superiore della pagina.

Per saperne di più, consulta la documentazione di Cloud Trace.

Quote e limiti

Alcuni valori degli attributi potrebbero essere troncati quando raggiungono i limiti di quota. Per maggiori informazioni, consulta Quota di Cloud Trace.

Prezzi

Cloud Trace prevede un livello gratuito. Per maggiori informazioni, consulta Prezzi di Cloud Trace.