Ausführungen vergleichen und analysieren

Mit dem Vertex AI SDK für Python können Sie die Ausführungsdaten von Vertex AI Experiments aufrufen und die Ausführungen vergleichen.

• Daten zu Ausführungen abrufen
• Ausführungen vergleichen

Die Google Cloud Console bietet eine Visualisierung der Daten, die mit diesen Ausführungen verknüpft sind.

• Daten der Testausführung aufrufen
• Testausführungen vergleichen

Daten der Testausführungen abrufen

Diese Beispiele umfassen Ausführungsmesswerte, Ausführungsparameter, Laufzeitserien, Artefakte und Klassifizierungsmesswerte für eine bestimmte Testausführung.

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

Ausführungen vergleichen

Mit dem Vertex AI SDK für Python können Sie die mit Ihrem Test verknüpften Daten abrufen. Die Daten für die Testausführungen werden in einem DataFrame zurückgegeben.

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

Google Cloud Console

Verwenden Sie die Google Cloud Console, um Details zu Ihren Testausführungen aufzurufen und die Testausführungen miteinander zu vergleichen.

Daten der Testausführung aufrufen

1. Rufen Sie in der Google Cloud Console die Seite Tests auf.
   Zu Tests.
   Eine Liste der mit einem Projekt verknüpften Tests wird angezeigt.
2. Wählen Sie den Test mit der Ausführung aus, die Sie prüfen möchten.
   Eine Liste der Ausführungen, Zeitachsendaten-Diagramme sowie eine Tabelle der Messwerte und Datenparameter werden angezeigt. Beachten Sie, dass in diesem Fall drei Ausführungen ausgewählt werden, aber nur zwei Linien in den Zeitachsendaten-Diagrammen angezeigt werden. Es gibt keine dritte Linie, da der dritte Testlauf keine Zeitachsendaten enthält, die angezeigt werden können.
   
   
3. Klicken Sie auf den Namen der Ausführung, um zur zugehörigen Detailseite zu wechseln.
   
   Die Navigationsleisten und Zeitachsendiagramme werden angezeigt.
   
4. Klicken Sie auf die entsprechenden Schaltflächen in der Navigationsleiste, um Messwerte, Parameter, Artefakte und Details für die ausgewählte Ausführung aufzurufen.
   • Messwerte
     
   • Parameter
     
   • Artefakte
     
     Klicken Sie auf den Link Artefakt im Metadatenspeicher öffnen, um das Herkunftsdiagramm des Artefakts aufzurufen. Das mit der Ausführung verknüpfte Herkunftsdiagramm angezeigt.
     
   • Details
     

Verwenden Sie die URLs, die mit den Ansichten verknüpft sind, um die Daten für andere freizugeben. Geben Sie beispielsweise die Liste der mit einem Test verknüpften Testausführungen frei:

Testausführungen vergleichen

Sie können Ausführungen auswählen, um sie sowohl innerhalb eines Tests als auch über mehrere Tests hinweg zu vergleichen.

1. Rufen Sie in der Google Cloud Console die Seite Tests auf.
   Zu Tests.
   Eine Liste der Tests wird angezeigt.
2. Wählen Sie den Test mit den Ausführungen aus, die Sie vergleichen möchten. Es wird eine Liste der Ausführungen angezeigt.
3. Wählen Sie die Testausführungen aus, die Sie miteinander vergleichen möchten. Klicken Sie auf Vergleichen.
   
   Standardmäßig werden Diagramme angezeigt, in denen Zeitreihenmesswerte der ausgewählten Testläufe verglichen werden.
4. Klicken Sie auf Ausführung hinzufügen, um weitere Ausführungen aus einem beliebigen Test in Ihrem Projekt hinzuzufügen.

Verwenden Sie die URLs, die mit den Ansichten verknüpft sind, um die Daten für andere freizugeben. Teilen Sie beispielsweise die Vergleichsansicht von Zeitreihen-Messwertdaten:

Informationen zum Aktualisieren des Ausführungsstatus finden Sie unter Testausführungen erstellen und verwalten.

Nächste Schritte

• Ausführungen und Artefakte verfolgen