実行内容を比較して分析する

Vertex AI SDK for Python を使用して、Vertex AI Experiments の実行データを表示し、実行を比較できます。

Google Cloud コンソールには、これらの実行に関連するデータを可視化するための機能が用意されています。

テスト実行データを取得する

これらのサンプルには、特定のテスト実行の実行指標、実行パラメータ、ランタイム シリーズの指標、アーティファクト、分類指標の取得が含まれます。

サマリー指標

Vertex AI SDK for Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

  • run_name: このセッションの適切な実行名を指定します。
  • experiment: このテストの名前またはインスタンス。Google Cloud コンソールで、セクション ナビゲーションの [テスト] を選択すると、テストのリストを見つけることができます。
  • project: 実際のプロジェクト ID。これらは、Google Cloud コンソールの [ようこそ] ページで確認できます。
  • location: 利用可能なロケーションの一覧をご覧ください。

パラメータ

Vertex AI SDK for Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

  • run_name: このセッションの適切な実行名を指定します。
  • experiment: このテストの名前またはインスタンス。Google Cloud コンソールで、セクション ナビゲーションの [テスト] を選択すると、テストのリストを見つけることができます。
  • project: 実際のプロジェクト ID。これらは、Google Cloud コンソールの [ようこそ] ページで確認できます。
  • location: 利用可能なロケーションの一覧をご覧ください。

時系列指標

Vertex AI SDK for Python

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

  • run_name: このセッションの適切な実行名を指定します。
  • experiment: このテストの名前またはインスタンス。Google Cloud コンソールで、セクション ナビゲーションの [テスト] を選択すると、テストのリストを見つけることができます。
  • project: 実際のプロジェクト ID。これらは、Google Cloud コンソールの [ようこそ] ページで確認できます。
  • location: 利用可能なロケーションの一覧をご覧ください。

アーティファクト

Vertex AI SDK for Python

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()
  • run_name: このセッションの適切な実行名を指定します。
  • experiment: このテストの名前またはインスタンス。Google Cloud コンソールで、セクション ナビゲーションの [テスト] を選択すると、テストのリストを見つけることができます。
  • project: 実際のプロジェクト ID。これらは、Google Cloud コンソールの [ようこそ] ページで確認できます。
  • location: 利用可能なロケーションの一覧をご覧ください。

分類指標

Vertex AI SDK for Python

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

  • run_name: このセッションの適切な実行名を指定します。
  • experiment: このテストの名前またはインスタンス。Google Cloud コンソールで、セクション ナビゲーションの [テスト] を選択すると、テストのリストを見つけることができます。
  • project: 実際のプロジェクト ID。これらは、Google Cloud コンソールの [ようこそ] ページで確認できます。
  • location: 利用可能なロケーションの一覧をご覧ください。

実行を比較する

Vertex AI SDK for Python を使用して、テストに関連付けられたデータを取得できます。テスト実行のデータは DataFrame で返されます。

実行を比較する

テスト実行のデータは DataFrame で返されます。

Vertex AI SDK for Python

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

  • experiment_name: テストの名前を指定します。Google Cloud コンソールで、セクション ナビゲーションの [テスト] を選択すると、テストのリストを見つけることができます。
  • project: 実際のプロジェクト ID。これらの ID は、Google Cloud コンソールの [ようこそ] ページで確認できます。
  • location: 利用可能なロケーションの一覧をご覧ください。

Google Cloud コンソール

Google Cloud コンソールを使用して、テスト実行の詳細を表示し、テスト実行を相互に比較します。

テスト実行データを表示する

  1. Google Cloud コンソールで、[テスト] ページに移動します。
    [テスト] に移動
    プロジェクトに関連付けられているテストのリストが表示されます。
  2. 確認する実行が含まれているテストを選択します。
    実行のリスト、時系列データグラフ、指標とパラメータのデータテーブルが表示されます。このケースでは 3 つの実行が選択されていますが、時系列データグラフに表示されるのは 2 つの線のみです。3 番目のテスト実行には表示する時系列データがないため、3 行目は表示されません。
    Vertex AI の実行のリスト、時系列データ、指標とパラメータのテーブル
  3. 実行の名前をクリックして、詳細ページに移動します。
    Vertex AI のテスト実行ナビゲーション
    ナビゲーション バーと時系列データのグラフが表示されます。
    時系列データグラフが表示された Vertex AI ナビゲーション バー
  4. 選択した実行の指標、パラメータ、アーティファクト、詳細を表示するには、ナビゲーション バーのそれぞれのボタンをクリックします。
    • 指標
      Vertex AI のテスト実行指標
    • パラメータ
      Vertex AI のテスト実行パラメータ
    • アーティファクト
      Vertex AI テスト実行アーティファクト
      アーティファクト リネージを表示するには、[メタデータ ストアでアーティファクトを開く] リンクをクリックします。実行に関連付けられたリネージグラフが表示されます。
      Vertex AI アーティファクト リネージグラフ
    • 詳細
      Vertex AI テスト実行の詳細

他のユーザーとデータを共有するには、ビューに関連付けられた URL を使用します。たとえば、テストに関連付けられたテスト実行のリストを共有します。

Vertex AI の実行の共有リスト

テスト実行を比較する

実行を選択して、1 つのテスト内または複数のテスト間で比較できます。

  1. Google Cloud コンソールで、[テスト] ページに移動します。
    [テスト] に移動
    テストのリストが表示されます。
  2. 比較する実行を含むテストを選択します。実行のリストが表示されます。Vertex AI の実行のリスト
  3. 比較するテスト実行を選択します。[比較] をクリックします。
    Vertex AI 実行の選択
    デフォルトでは、選択したテスト実行の時系列指標を比較するグラフが表示されます。 Vertex AI 実行のグラフ
  4. プロジェクト内のテストから別の実行を追加するには、[実行を追加] をクリックします。Vertex AI の追加実行

他のユーザーとデータを共有するには、ビューに関連付けられた URL を使用します。たとえば、時系列指標データの比較ビューを共有します。

Vertex AI のデータ共有

実行のステータスを更新する方法については、テスト実行を作成して管理するをご覧ください。

次のステップ