Mit Vertex AI lassen sich Modelle bewerten, die entweder mit AutoML oder benutzerdefiniert trainiert wurden. Für den Google Cloud Console-Leitfaden sollten Sie ein trainiertes Modell in Vertex AI Model Registry importieren.
Laden Sie Ihr Test-Dataset in BigQuery oder Cloud Storage hoch. Das Test-Dataset sollte die Ground Truth enthalten, also das tatsächliche erwartete Ergebnis einer Vorhersage. Rufen Sie den Link zur Datei oder zur Dataset-ID ab.
Klicken Sie auf den Namen des Modells, das bewertet werden soll.
Klicken Sie auf die Versionsnummer des Modells.
Klicken Sie auf dem Tab Bewerten auf Bewertung erstellen.
Geben Sie unter Name der Bewertung einen Namen ein.
Wählen Sie ein Ziel aus, z. B. „Klassifizierung“ oder „Regression“.
Geben Sie unter Name der Bewertungszielspalte einen Namen ein. Dies ist die Spalte aus den Trainingsdaten, mit denen das Modell zur Vorhersage trainiert wurde.
Wählen Sie unter Quelle auswählen die Quelle für Ihr Test-Dataset aus.
Geben Sie unter BigQuery-Tabelle den BigQuery-Pfad ein.
Geben Sie unter Datei in Cloud Storage den Cloud Storage-Pfad ein.
Wählen Sie unter Ausgabe der Batchvorhersage ein Ausgabeformat aus.
Geben Sie den BigQuery-Pfad oder den Cloud Storage-URI ein.
Klicken Sie auf Bewertung starten.
Python
Informationen zum Anzeigen des Vertex AI API-Modellbewertungsworkflows in Vertex AI Pipelines finden Sie in den Beispiel-Notebooks für die folgenden Modelltypen:
Das SDK für die Bewertung von Modellen mit Vertex AI befindet sich in der experimentellen Phase. Zum Anmelden für die experimentelle Version füllen Sie das Onboarding-Formular aus.
Vertex AI sendet automatisch eine E-Mail-Benachrichtigung, wenn ein Modellbewertungsjob abgeschlossen ist.
Bewertungsmesswerte aufrufen
Console
Rufen Sie in der Google Cloud Console die Seite „Vertex AI-Modelle“ auf.
Informationen zum Anzeigen des Vertex AI API-Modellbewertungsworkflows in Vertex AI Pipelines finden Sie in den Beispiel-Notebooks für die folgenden Modelltypen:
Das SDK für die Bewertung von Modellen mit Vertex AI befindet sich in der experimentellen Phase. Zum Anmelden für die experimentelle Version füllen Sie das Onboarding-Formular aus.
Bewertungsmesswerte vergleichen
Sie können Bewertungsergebnisse von verschiedenen Modellen, Modellversionen und Bewertungsjobs vergleichen. Weitere Informationen zur Versionsverwaltung von Modellen finden Sie unter Versionsverwaltung in der Model Registry.
Sie können nur Modelle desselben Typs vergleichen, z. B. Klassifizierung, Regression oder Prognose. Beim Vergleich verschiedener Modelle müssen alle Modellversionen vom selben Typ sein.
Sie können maximal fünf Bewertungen gleichzeitig vergleichen.
Rufen Sie in der Google Cloud Console die Vertex AI Model Registry auf:
Wenn Sie die verschiedenen Modelle auf der Seite Modelle vergleichen möchten, setzen Sie das Häkchen neben den Namen der Modelle, die Sie vergleichen möchten.
So vergleichen Sie verschiedene Modellversionen:
Klicken Sie auf der Seite Modelle auf den Namen Ihres Modells, um die Liste der Modellversionen zu öffnen.
Setzen Sie das Häkchen neben den Versionen, die Sie vergleichen möchten.
So vergleichen Sie alle Bewertungsjobs für eine Modellversion:
Klicken Sie auf der Seite Modelle auf den Namen Ihres Modells, um die Liste der Modellversionen zu öffnen.
Klicken Sie auf die Versionsnummer.
Setzen Sie das Häkchen neben den Bewertungsjobs, die Sie vergleichen möchten.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-08-18 (UTC)."],[],[],null,["# Evaluate models using Vertex AI\n\nThis page describes how to evaluate models using Vertex AI. For\nan overview, see [model evaluation in Vertex AI](/vertex-ai/docs/evaluation/introduction).\n\nPrerequisites\n-------------\n\n1. Follow the steps at [Set up a project and a development environment](/vertex-ai/docs/start/cloud-environment).\n In addition, enable the following services:\n\n - [Compute Engine API](https://console.cloud.google.com/flows/enableapi?apiid=compute.googleapis.com)\n - [Dataflow API](https://console.cloud.google.com/flows/enableapi?apiid=dataflow.googleapis.com)\n2. Vertex AI can evaluate models that are trained either\n through AutoML or custom training. For the Google Cloud console\n guide, you should have a trained model [imported to\n Vertex AI Model Registry](/vertex-ai/docs/model-registry/import-model).\n\n3. Upload your test dataset to [BigQuery](/bigquery/docs/loading-data) or\n [Cloud Storage](/storage/docs/uploading-objects). The test dataset should contain the ground\n truth, which is the actual result expected for an inference. Obtain the link\n to the file or the dataset ID.\n\n4. Have a [batch inference output](/vertex-ai/docs/predictions/batch-predictions) in the form of a\n BigQuery table or Cloud Storage URI.\n\n5. Make sure your [default Compute Engine service account](/iam/docs/service-account-types#default) has the\n following [IAM permissions](/vertex-ai/docs/general/iam-permissions):\n\n - Vertex AI Administrator (`aiplatform.admin`)\n - Vertex AI Service Agent (`aiplatform.serviceAgent`)\n - Storage Object Admin (`storage.objectAdmin`)\n - Dataflow Worker (`dataflow.worker`)\n - BigQuery Data Editor (`bigquery.dataEditor`) (only required if you are providing data in the form of BigQuery tables)\n\nCreate an evaluation\n--------------------\n\n### Console\n\n1. In the Google Cloud console, go to the Vertex AI Models page.\n\n [Go to the Models page](https://console.cloud.google.com/vertex-ai/models)\n2. Click the name of the model you want to evaluate.\n\n3. Click the version number for the model.\n\n4. On the **Evaluate** tab, click **Create Evaluation**.\n\n5. Enter an **Evaluation name**.\n\n6. Select an **Objective**, such as classification or regression.\n\n7. Enter the **Evaluation target column name**, which is the column from the\n training data that the model is trained to predict.\n\n8. For **Select source**, select the source for your test dataset.\n\n 1. For **BigQuery table** , enter the **BigQuery path**.\n\n 2. For **File on Cloud Storage** , enter the **Cloud Storage path**.\n\n9. For **Batch prediction output**, select an output format.\n\n 1. Enter the BigQuery path or Cloud Storage URI.\n10. Click **Start Evaluation**.\n\n### Python\n\nTo view the Vertex AI API model evaluation workflow in\nVertex AI Pipelines, see the example notebooks for the following model\ntypes:\n\n- [AutoML tabular classification](https://colab.sandbox.google.com/github/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/official/model_evaluation/automl_tabular_classification_model_evaluation.ipynb)\n\n- [AutoML tabular regression](https://colab.sandbox.google.com/github/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/official/model_evaluation/automl_tabular_regression_model_evaluation.ipynb)\n\n- [AutoML video classification](https://colab.sandbox.google.com/github/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/official/model_evaluation/automl_video_classification_model_evaluation.ipynb)\n\n- [Custom tabular classification](https://colab.sandbox.google.com/github/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/official/model_evaluation/custom_tabular_classification_model_evaluation.ipynb)\n\n- [Custom tabular regression](https://colab.sandbox.google.com/github/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/official/model_evaluation/custom_tabular_regression_model_evaluation.ipynb)\n\n### Python SDK\n\nThe SDK for evaluating models with Vertex AI is in\nExperimental. To sign up for the Experimental, fill out the\n[onboarding form](https://docs.google.com/forms/d/159DJxDx8cQpsjwsNkS7j-qCwsz2uTDVwVQPv4ZfWM50/viewform?edit_requested=true).\n\nVertex AI automatically sends an email notification when\na model evaluation job is complete.\n\nView evaluation metrics\n-----------------------\n\n**Note:** For [BigQuery ML models](/bigquery/docs/model_eval) that are registered to Model Registry, Vertex AI only shows evaluation metrics for regression and binary classification models. \n\n### Console\n\n1. In the Google Cloud console, go to the Vertex AI Models page.\n\n [Go to the Models page](https://console.cloud.google.com/vertex-ai/models)\n2. Navigate to the model version.\n\n3. View metrics in the **Evaluate** tab.\n\n### Python\n\nTo view the Vertex AI API model evaluation workflow in\nVertex AI Pipelines, see the example notebooks for the following model\ntypes:\n\n- [AutoML tabular classification](https://colab.sandbox.google.com/github/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/official/model_evaluation/automl_tabular_classification_model_evaluation.ipynb)\n\n- [AutoML tabular regression](https://colab.sandbox.google.com/github/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/official/model_evaluation/automl_tabular_regression_model_evaluation.ipynb)\n\n- [AutoML video classification](https://colab.sandbox.google.com/github/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/official/model_evaluation/automl_video_classification_model_evaluation.ipynb)\n\n- [Custom tabular classification](https://colab.sandbox.google.com/github/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/official/model_evaluation/custom_tabular_classification_model_evaluation.ipynb)\n\n- [Custom tabular regression](https://colab.sandbox.google.com/github/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/official/model_evaluation/custom_tabular_regression_model_evaluation.ipynb)\n\n### Python SDK\n\nThe SDK for evaluating models with Vertex AI is in\nExperimental. To sign up for the Experimental, fill out the\n[onboarding form](https://docs.google.com/forms/d/159DJxDx8cQpsjwsNkS7j-qCwsz2uTDVwVQPv4ZfWM50/viewform?edit_requested=true).\n\nCompare evaluation metrics\n--------------------------\n\nYou can compare evaluation results across different models, model versions, and\nevaluation jobs. For more information about model versioning, see [Versioning in\nModel Registry](/vertex-ai/docs/model-registry/versioning).\n\nYou can only compare models of the same type, such as classification,\nregression, or forecasting. When comparing different models, all the\nmodel versions must be the same type.\n\nYou can only compare 5 or fewer evaluations at a time.\n\n1. Go to the Vertex AI Model Registry in the Google Cloud console:\n\n [Go to the Models page](https://console.cloud.google.com/vertex-ai/models)\n2. Navigate to your model or model version:\n\n - To compare across different models on the **Models** page, select the\n checkboxes next to the names of the models you want to compare.\n\n - To compare across different model versions:\n\n 1. Click the name of your model on the **Models** page to open the list\n of model versions.\n\n 2. Select the checkboxes next to the versions you want to compare.\n\n - To compare across evaluation jobs for the same model version:\n\n 1. Click the name of your model on the **Models** page to open the list\n of model versions.\n\n 2. Click the version number.\n\n 3. Select the checkboxes next to the evaluation jobs you want to compare.\n\n3. Click **Compare**.\n\nWhat's next\n-----------\n\n- Learn how to [iterate on your model](/vertex-ai/docs/training/evaluating-automl-models#iterate)."]]
