本頁說明如何使用 Vertex AI 評估模型。如需概略說明，請參閱「Vertex AI 的模型評估」。
必要條件
按照「設定專案和開發環境」中的步驟操作。此外，請啟用下列服務：
Vertex AI 可以評估透過 AutoML 或自訂訓練所訓練的模型。如要使用 Google Cloud 控制台指南，您必須先將訓練好的模型匯入 Vertex AI Model Registry。
將測試資料集上傳至 BigQuery 或 Cloud Storage。測試資料集應包含真值，也就是預測的實際結果。取得檔案連結或資料集 ID。
以 BigQuery 資料表或 Cloud Storage URI 的形式提供批次預測輸出結果。
請確認您的預設 Compute Engine 服務帳戶具備下列 IAM 權限：
- Vertex AI 管理員 (
aiplatform.admin) - Vertex AI 服務代理 (
aiplatform.serviceAgent) - Storage 物件管理員 (
storage.objectAdmin) - Dataflow 工作者 (
dataflow.worker) - BigQuery 資料編輯者 (
bigquery.dataEditor) (僅適用於以 BigQuery 資料表形式提供資料的情況)
- Vertex AI 管理員 (
建立評估作業
控制台
前往 Google Cloud 控制台的「Vertex AI Models」頁面。
按一下您要評估的模型名稱。
按一下模型的版本號碼。
在「評估」分頁中，按一下「建立評估」。
輸入評估名稱。
選取目標，例如分類或迴歸。
輸入評估目標資料欄名稱，也就是訓練資料中訓練模型用來預測的資料欄。
在「Select source」(選取來源) 中，選取測試資料集的來源。
在「BigQuery 資料表」中輸入「BigQuery 路徑」。
在「Cloud Storage 中的檔案」中，輸入 Cloud Storage 路徑。
在「輸出批次預測結果」部分，選取輸出格式。
- 輸入 BigQuery 路徑或 Cloud Storage URI。
按一下「開始評估」。
Python
如要在 Vertex AI Pipelines 中查看 Vertex AI API 模型評估工作流程，請參閱下列模型類型的範例筆記本：
Python SDK
用於透過 Vertex AI 評估模型的 SDK 屬於實驗功能。如要申請使用實驗功能，請填寫合作夥伴協議表單。
模型評估作業完成後，Vertex AI 會自動傳送電子郵件通知。
查看評估指標
控制台
前往 Google Cloud 控制台的「Vertex AI Models」頁面。
前往模型版本。
在「評估」分頁中查看指標。
Python
如要在 Vertex AI Pipelines 中查看 Vertex AI API 模型評估工作流程，請參閱下列模型類型的範例筆記本：
Python SDK
用於透過 Vertex AI 評估模型的 SDK 屬於實驗功能。如要申請使用實驗功能，請填寫合作夥伴協議表單。
比較評估指標
您可以比較不同模型、模型版本和評估工作的評估結果。如要進一步瞭解模型版本管理，請參閱「Model Registry 中的版本管理」。
您只能比較相同類型的模型，例如分類、迴歸或預測。比較不同模型時，所有模型版本都必須是相同類型。
一次最多只能比較 5 項評估。
前往 Google Cloud 控制台的 Vertex AI Model Registry：
前往模型或模型版本：
如要在「Models」頁面上比較不同模型，請選取要比較的模型名稱旁的核取方塊。
比較不同模型版本：
在「Models」頁面中按一下模型名稱，即可開啟模型版本清單。
找出要比較的版本，然後勾選旁邊的核取方塊。
如要比較相同模型版本的各項評估工作，請按照下列步驟操作：
在「Models」頁面中按一下模型名稱，即可開啟模型版本清單。
按一下版本號碼。
找出要比較的評估工作，然後勾選旁邊的核取方塊。
按一下 [Compare] (比較) 。
後續步驟
- 瞭解如何疊代模型。