Überprüfen Sie die Modellleistung in der Google Cloud Console. Analysieren Sie Testfehler, um die Modellqualität iterativ zu verbessern, indem Sie Datenprobleme beheben.
Diese Anleitung umfasst mehrere Seiten:
Dataset zur Bildklassifizierung erstellen und Bilder importieren
Modellleistung bewerten und analysieren
Modell auf einem Endpunkt bereitstellen und eine Vorhersage senden
Auf jeder Seite wird davon ausgegangen, dass Sie die Anleitung auf den vorherigen Seiten des Leitfadens bereits ausgeführt haben.
1. Ergebnisse der AutoML-Modellbewertung
Nach Abschluss des Trainings wird Ihr Modell automatisch anhand der Testdatenaufteilung bewertet. Die entsprechenden Bewertungsergebnisse werden angezeigt, wenn Sie auf der Seite Modell-Registry oder Dataset auf den Namen des Modells klicken.
Dort finden Sie die Messwerte zur Leistungsmessung des Modells.
Eine ausführlichere Einführung in die verschiedenen Bewertungsmesswerte finden Sie im Abschnitt Modell bewerten, testen und bereitstellen.
2. Testergebnisse analysieren
Wenn Sie die Modellleistung weiter verbessern möchten, besteht der erste Schritt oft darin, die Fehlerfälle zu untersuchen und die möglichen Ursachen zu ermitteln. Auf der Bewertungsseite jeder Klasse werden detaillierte Testbilder der jeweiligen Klasse angezeigt, die als falsch negative, falsch positive und richtig positive Ergebnisse kategorisiert sind. Die Definitionen der einzelnen Kategorien finden Sie im Abschnitt Modell bewerten, testen und bereitstellen.
Für jedes Bild in jeder Kategorie können Sie die Vorhersagedetails prüfen, indem Sie auf das Bild klicken und die detaillierten Analyseergebnisse aufrufen. Rechts auf der Seite wird der Bereich Ähnliche Bilder prüfen angezeigt. Dabei werden die ähnlichsten Stichproben aus dem Trainings-Dataset mit den im Merkmalsbereich gemessenen Entfernungen angezeigt.
Es gibt zwei Arten von Datenproblemen, die Sie beachten sollten:
Inkonsistenz des Labels Wenn ein visuell ähnliches Beispiel aus dem Trainings-Dataset andere Labels als das Testbeispiel hat, ist es möglich, dass eines davon falsch ist oder dass das mit dem geringfügige Unterschied mehr Daten benötigt, damit das Modell davon lernen kann, oder die aktuellen Klassenlabels sind nicht genau genug, um das angegebene Beispiel zu beschreiben. Durch die Überprüfung ähnlicher Bilder können Sie die Labelinformationen evtl. korrekt machen. Dazu korrigieren Sie entweder die Fehlerfälle oder schließen das problematische Beispiel aus dem Test-Dataset aus. Sie können das Label des Testbilds oder der Trainingsbilder auf derselben Seite im Bereich Ähnliche Bilder prüfen ganz einfach ändern.
Ausreißer Wenn ein Testbeispiel als Ausreißer gekennzeichnet ist, gibt es möglicherweise keine visuell ähnlichen Beispiele im Trainingssatz, die zum Trainieren des Modells beitragen könnten. Wenn Sie ähnliche Bilder aus dem Trainings-Dataset überprüfen, können Sie diese Beispiele identifizieren und dem Trainings-Dataset ähnliche Bilder hinzufügen, um die Modellleistung in diesen Fällen weiter zu verbessern.
Nächste Schritte
Wenn Sie mit der Modellleistung zufrieden sind, folgen Sie der nächsten Seite dieser Anleitung, um Ihr trainiertes AutoML-Modell für einen Endpunkt bereitzustellen und ein Bild zur Vorhersage an das Modell zu senden. Wenn Sie die Daten korrigieren, trainieren Sie ein neues Modell mithilfe des Tutorials zum Trainieren eines AutoML-Modells für die Bildklassifizierung.