パイプライン アーティファクトのリネージを追跡する

Vertex AI Pipelines を使用して作成された各パイプライン実行には、モデル、データセット、パイプライン テンプレート、コンポーネントなど、いくつかの関連するアーティファクトとパラメータがあります。パイプライン アーティファクトのリネージには、そのアーティファクトの作成につながった要素だけでなく、そのアーティファクトから派生したアーティファクトやメタデータも含まれます。たとえば、モデルのリネージには次のものが含まれます。

• モデルの作成に使用されたトレーニング、テスト、評価データ

• モデルのトレーニング中に使用されたハイパーパラメータ

• トレーニングと評価プロセスで記録されたメタデータ（モデルの精度など）

• このモデルから派生したアーティファクト（バッチ予測の結果など）

このメタデータを使用すると、次のようなことを分析できます。

• なぜ特定のパイプライン実行が特に正確なモデルを生成したのか。

• どのパイプライン実行が最も正確なモデルを生成し、どのハイパーパラメータを使用してモデルをトレーニングしたか。

• パイプラインのステップによっては、システム ガバナンスの状況を分析できる場合があります。たとえば、メタデータを使用して、特定の時点で本番環境にあったモデルのバージョンを特定できます。

パイプライン アーティファクトのリネージを表示して分析するには、Vertex ML Metadata または Dataplex を使用します。

次の表に、Vertex ML メタデータと Dataplex の違いを示します。

Vertex ML Metadata アーティファクトを Dataplex にマッピングする

Vertex ML Metadata アーティファクトを Dataplex の FQN にマッピングするには、次の操作を行う必要があります。

• Vertex AI モデルとマネージド データセットを作成するときに、Google Cloud Pipeline コンポーネントを使用します。

• 次のサンプルに示すように、カスタム スキーマのタイトル（google.VertexDataset または google.VertexModel）を使用し、metadata フィールドにモデルまたはマネージド データセットのリソース名を指定します。

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Vertex ML Metadata を使用してパイプライン アーティファクトのリネージを分析する

Vertex AI Pipelines を使用してパイプラインを実行すると、Vertex ML Metadata により、パイプライン実行のアーティファクトとパラメータが保存されます。Vertex ML Metadata を使用すると、パイプライン メタデータの追跡が容易になるため、パイプラインのアーティファクトのリネージを簡単に分析できます。

Vertex ML Metadata を初めて使用する場合は、Vertex ML Metadata の概要をご覧ください。

Vertex ML Metadata を使用してパイプライン アーティファクトのリネージグラフを表示する手順は次のとおりです。

1. Google Cloud コンソールの [Vertex AI] セクションで、[メタデータ] ページに移動します。

   [メタデータ] に移動

   [メタデータ] ページには、デフォルトのメタデータ ストアで作成されたアーティファクトが一覧表示されます。

2. [リージョン] プルダウン リストで、実行が作成されたリージョンを選択します。

3. [表示名] に表示されたアーティファクトをクリックして、そのリネージグラフを表示します。

   このリネージグラフに含まれるアーティファクトと実行を示す静的グラフが表示されます。

4. アーティファクトまたは実行をクリックして、詳細を確認します。

Dataplex を使用してパイプライン アーティファクトのリネージを分析する

Dataplex Data Catalog は、Google Cloud リソースからメタデータを検出します。これには、Vertex AI モデル、マネージド データセットなどの Vertex AI Pipelines アーティファクトや、Data Catalog で検出可能なその他の Google Cloud リソースが含まれます。これらのアーティファクトは、Data Catalog のメタデータ検索機能を使用して検出し、リネージ グラフを表示できます。

Data Catalog のメタデータ検索機能の詳細については、Data Catalog でデータアセットを検索して表示するをご覧ください。

Vertex AI Pipelines がサポートされているすべてのリージョンで Data Catalog を利用できるわけではないことに注意してください。リージョンで Data Catalog がサポートされていない場合は、Vertex ML Metadata を使用します。Data Catalog でサポートされているリージョンの一覧を表示する。

Dataplex でパイプライン アーティファクトのリネージグラフを表示する手順は次のとおりです。

1. Google Cloud コンソールで Dataplex 検索クエリを起動するには、[Dataplex 検索] ページに移動します。

   [Dataplex Search] に移動

2. フィルタを使用してアーティファクトを検索します。たとえば、[データ型] フィルタを使用して、モデル、データセット、BigQuery テーブルなどのアーティファクトのタイプを指定できます。Data Catalog 検索の詳細については、データアセットを検索するをご覧ください。

   検索フィールドでクエリを定義することもできます。

3. アーティファクトのリネージを表示するには、アーティファクトの名前をクリックし、[リネージ] タブをクリックします。

   リネージグラフでは、Vertex AI プロセスの前に が付いています。これには、パイプライン アーティファクト、パイプライン コンポーネント、パイプライン テンプレートが含まれます。

   • プロセスの詳細を表示するには、リネージ グラフでプロセスをクリックします。

   • パイプライン実行のパイプライン タスクに基づくプロセスの場合、次のことができます。

     • [詳細タブ] で [Vertex AI で開く] をクリックして、Vertex AI でパイプラインの実行を表示します。パイプライン実行のランタイムの詳細（状態、タイムスタンプ、属性など）を表示するには、[その他] をクリックします。Vertex AI で実行中のパイプラインを表示するには、[Vertex AI で開く] をクリックします。

   • パイプライン テンプレートに基づくプロセスの場合、次のことができます。

     • [詳細タブ] で [Vertex AI で開く] をクリックして、Vertex AI でテンプレートの詳細を表示します。

     • [実行] タブで、パイプライン実行で作成されたパイプライン タスクのリストを表示します。Vertex AI でパイプライン テンプレートの詳細を表示するには、[その他]、[Vertex AI で開く] の順にクリックします。

次のステップ

• パイプラインを実行する方法を学習する。
• パイプラインの結果の可視化と分析を行う。
• 機械学習パイプラインの構築方法を学習する。