追蹤管道構件的歷程

使用 Vertex AI Pipelines 建立的每個管道執行作業，都會有幾個相關聯的構件和參數，例如模型、資料集、管道範本和元件。管線構件的沿襲包括促成構件建立的因素，以及衍生自構件的構件和中繼資料。舉例來說，模型的沿襲可能包括下列項目：

  • 用於建立模型的訓練、測試和評估資料。

  • 模型訓練期間使用的超參數。

  • 訓練和評估程序記錄的中繼資料，例如模型的準確率。

  • 衍生自這個模型的構件，例如批次預測結果。

您可以利用這項中繼資料，找出下列問題的答案：

  • 為什麼特定管道執行作業會產生特別準確的模型？

  • 哪個管道執行作業產生最準確的模型？訓練模型時使用了哪些超參數？

  • 視管道中的步驟而定，您或許可以回答系統管理問題。舉例來說，您可以使用中繼資料，判斷特定時間點實際運作的模型版本。

如要查看及分析管道構件歷程，可以使用 Vertex 機器學習中繼資料或 Dataplex Universal Catalog。

下表列出 Vertex ML Metadata 和 Dataplex Universal Catalog 的差異：

功能 Vertex 機器學習中繼資料 Dataplex Universal Catalog
擷取的管道中繼資料類型 管道執行作業產生的所有輸入和輸出構件。 可對應至 Dataplex Universal Catalog 支援的完整名稱 (FQN) 的輸入和輸出構件，通常是透過 Google Cloud 管道元件。
地理位置 單一區域讀取。 全域讀取，也就是跨多個區域。
專案 單一專案讀取。 跨多個專案讀取整個機構的資料。
已整合的服務 與 Vertex AI Pipelines、Vertex AI Experiments、Vertex AI Model Registry 和資料集整合。 與 Vertex AI、BigQuery、Cloud Composer 和 Dataproc 等多項 Google Cloud 產品整合。
是否啟用？ 否，一律開啟。 為每個專案啟用 Data Lineage API，即可選擇加入。

將 Vertex 機器學習中繼資料構件對應至 Dataplex Universal Catalog

如要將 Vertex ML 中繼資料構件對應至 Dataplex Universal Catalog 中的 FQN，請完成下列步驟：

  • 建立 Vertex AI 模型和代管資料集時，請使用 Google Cloud 管道元件。

  • 在 metadata 欄位中指定模型或代管資料集資源名稱時，請使用自訂結構定義標題 (google.VertexDataset 或 google.VertexModel)，如下列範例所示：

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

使用 Vertex 機器學習中繼資料分析管道構件的歷程

使用 Vertex AI Pipelines 執行管道時，管道執行的構件和參數會透過 Vertex 機器學習中繼資料儲存。Vertex 機器學習中繼資料可協助您追蹤管道構件的歷程，省去追蹤管道中繼資料的麻煩。

如果您是 Vertex 機器學習中繼資料新手，請參閱 Vertex 機器學習中繼資料簡介。

請按照下列操作說明，使用 Vertex 機器學習中繼資料查看管道構件的歷程圖：

  1. 在 Google Cloud 控制台的 Vertex AI 專區中，前往「Metadata」頁面。

    前往「中繼資料」

    「中繼資料」頁面會列出在預設中繼資料儲存庫中建立的構件。

  2. 在「Region」(區域) 下拉式清單中，選取建立執行作業的區域。

  3. 按一下構件的「顯示名稱」，即可查看其沿襲圖。

    系統會顯示靜態圖表，當中包含這個沿襲圖表中的構件和執行作業。

  4. 按一下構件或執行作業，即可查看詳細資訊。

使用 Dataplex Universal Catalog 分析管道構件的沿襲

Dataplex Universal Catalog 會探索資源中的中繼資料，包括 Vertex AI Pipelines 構件，例如 Vertex AI 模型、受管理資料集，以及其他可在 Dataplex Universal Catalog 中探索的資源。Google Cloud Google Cloud 您可以使用 Dataplex Universal Catalog 的中繼資料搜尋功能探索這些構件，並查看其沿襲圖。

如要進一步瞭解 Dataplex Universal Catalog 中繼資料搜尋功能，請參閱「在 Dataplex Universal Catalog 中搜尋資源」。

請注意，Dataplex Universal Catalog 可能無法在支援 Vertex AI Pipelines 的所有區域使用。如果所在區域不支援 Dataplex Universal Catalog，請改用 Vertex 機器學習中繼資料。查看 Dataplex Universal Catalog 支援的地區清單。

請按照下列操作說明，在 Dataplex Universal Catalog 中查看管道構件的歷程圖：

  1. 如要在 Google Cloud 控制台中啟動 Dataplex Universal Catalog 搜尋查詢，請前往 Dataplex Universal Catalog 的「Search」(搜尋) 頁面。

    前往「搜尋」頁面

  2. 選取「Dataplex Catalog」做為搜尋模式。

  3. 使用篩選器搜尋構件。舉例來說，您可以使用「資料類型」篩選器指定構件類型，例如模型、資料集或 BigQuery 資料表。詳情請參閱「在 Dataplex Universal Catalog 中搜尋資源」。

    您也可以在搜尋欄位中定義查詢。

  4. 如要查看構件的歷程，請依序點選構件名稱和「歷程」分頁標籤。

    在沿襲圖中，Vertex AI 程序前面會加上 Vertex AI 沿襲圖示。包括管線構件、管線元件和管線範本。

    • 如要查看程序的詳細資料，請在沿襲圖中點選該程序。

    • 如果是以管線執行作業中的管線工作為基礎的程序，您可以執行下列操作：

      • 按一下「詳細資料」分頁中的「在 Vertex AI 中開啟」，即可在 Vertex AI 中查看管道執行作業。如要查看管道執行的執行階段詳細資料 (例如狀態、時間戳記和屬性)，請按一下「更多」。如要在 Vertex AI 中查看管道執行作業，請點按「在 Vertex AI 中開啟」。

    • 對於以管道範本為基礎的程序，您可以執行下列操作：

      • 在「詳細資料」分頁中點選「在 Vertex AI 中開啟」，即可在 Vertex AI 中查看範本詳細資料。

      • 在「執行作業」分頁中，查看管道執行作業中建立的管道工作清單。如要在 Vertex AI 中查看管道範本的詳細資料，請按一下「更多」，然後按一下「在 Vertex AI 中開啟」。

後續步驟