Confronta e analizza le esecuzioni

Puoi utilizzare l'SDK Vertex AI per Python per visualizzare i dati delle esecuzioni di Vertex AI Experiments e confrontare le esecuzioni.

• Recuperare i dati delle corse
• Confronta esecuzioni

La Google Cloud console fornisce una visualizzazione dei dati associati a queste corse.

• Visualizzare i dati di esecuzione dell'esperimento
• Confrontare le esecuzioni degli esperimenti

Recuperare i dati delle esecuzioni dell'esperimento

Questi esempi riguardano l'ottenimento di metriche di esecuzione, parametri di esecuzione, metriche delle serie temporali di runtime, artefatti e metriche di classificazione per una determinata esecuzione dell'esperimento.

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

Confronta esecuzioni

Utilizzando l'SDK Vertex AI per Python, puoi recuperare i dati associati al tuo esperimento. I dati delle esecuzioni dell'esperimento vengono restituiti in un DataFrame.

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

Google Cloud console

Utilizza la console Google Cloud per visualizzare i dettagli delle esecuzioni dell'esperimento e confrontarle tra loro.

Visualizzare i dati di esecuzione dell'esperimento

1. Nella console Google Cloud , vai alla pagina Esperimenti.
   Vai a Esperimenti.
   Viene visualizzato un elenco di esperimenti associati a un progetto.
2. Seleziona l'esperimento contenente l'esecuzione che vuoi controllare.
   Viene visualizzato un elenco di corse, grafici di dati delle serie temporali e una tabella di dati di metriche e parametri. Nota che in questo caso sono selezionate tre corse, ma nei grafici dei dati delle serie temporali vengono visualizzate solo due linee. Non è presente una terza linea perché la terza esecuzione dell'esperimento non dispone di dati delle serie temporali da visualizzare.
   
   
3. Fai clic sul nome dell'esecuzione per passare alla relativa pagina dei dettagli.
   
   Vengono visualizzati la barra di navigazione e i grafici delle serie temporali.
   
4. Per visualizzare metriche, parametri, artefatti e dettagli dell'esecuzione selezionata, fai clic sui rispettivi pulsanti nella barra di navigazione.
   • Metriche
     
   • Parametri
     
   • Artefatti
     
     Per visualizzare la derivazione dell'artefatto, fai clic sul link Apri l'artefatto nell'archivio metadati. Viene visualizzato il grafico di derivazione associato all'esecuzione.
     
   • Dettagli
     

Per condividere i dati con altri, utilizza gli URL associati alle visualizzazioni. Ad esempio, condividi l'elenco delle esecuzioni dell'esperimento associate a un esperimento:

Confrontare le esecuzioni degli esperimenti

Puoi selezionare le esecuzioni da confrontare sia all'interno di un esperimento sia tra esperimenti diversi.

1. Nella console Google Cloud , vai alla pagina Esperimenti.
   Vai a Esperimenti.
   Viene visualizzato un elenco di esperimenti.
2. Seleziona l'esperimento contenente le esecuzioni che vuoi confrontare. Viene visualizzato un elenco di corse.
3. Seleziona le esecuzioni dell'esperimento che vuoi confrontare. Fai clic su Confronta.
   
   Per impostazione predefinita, i grafici vengono visualizzati confrontando le metriche delle serie temporali delle esecuzioni dell'esperimento selezionate.
4. Per aggiungere altre esecuzioni da qualsiasi esperimento nel progetto, fai clic su Aggiungi esecuzione.

Per condividere i dati con altri, utilizza gli URL associati alle visualizzazioni. Ad esempio, condividi la visualizzazione del confronto dei dati delle metriche delle serie temporali:

Consulta Creare e gestire le esecuzioni di esperimenti per scoprire come aggiornare lo stato di un'esecuzione.

Passaggi successivi

• Monitorare le esecuzioni e gli artefatti