Feature-Attributionen für Prognosen

Einleitung

Diese Seite bietet eine kurze konzeptionelle Übersicht über die Methoden zur Attribution von Features, die mit Vertex AI verfügbar sind. Eine ausführliche technische Erläuterung finden Sie in unserem Whitepaper zu AI Explanations.

Die globale Featurewichtigkeit (Modell-Featureattributionen) zeigt, wie stark jedes Feature sich auf ein Modell auswirkt. Die Werte werden für jedes Feature als Prozentsatz angegeben. Je höher der Prozentsatz, desto stärker wirkt sich das Feature auf das Modelltraining aus. Nachdem Sie beispielsweise die globale Featurewichtigkeit für Ihr Modell geprüft haben, können Sie zu folgendem Schluss kommen: "Das Modell erkennt, dass der Umsatz des Vormonats in der Regel der stärkste Vorhersagefaktor für den Umsatz des nächsten Monats ist. Dabei sind Faktoren wie Anzahl der Kunden und Angebote wichtig, doch sie sind weniger wichtig als die Umsatzahlen."

Prüfen Sie die Bewertungsmesswerte Ihres Modells, um die globale Featurewichtigkeit anzuzeigen.

Lokale Feature-Attributionen für Zeitreihenmodelle geben an, wie viel die einzelnen Features in einem Modell zu einer Vorhersage beigetragen haben. Mit ihnen wird der Beitrag eines Features zu einer Vorhersage relativ zu einer Eingabereferenz gemessen. Bei numerischen Features wie dem Umsatz ist die Basiseingabe der Medianwert des Umsatzes. Bei kategorischen Features wie dem Produktnamen ist die Basiseingabe der häufigste Produktname. Die Summe aller Zuordnungen ist nicht die Vorhersage. Die Summe gibt an, wie stark sich die Vorhersage von der Baseline-Vorhersage unterscheidet (d. h., alle Eingaben sind Referenzeingaben).

Die Feature-Attributionen basieren auf Prognosen, die für Kontrafakten getroffen wurden. Beispiel für eine Prognose: Was wäre die Prognose, wenn der Advertising-Wert von TRUE am 2020-11-21 durch FALSE, den häufigsten Wert, ersetzt würde? Die erforderliche Anzahl widersprüchlicher Ergebnisse skaliert mit der Anzahl der Spalten und Pfade (vom Dienst generiert). Die resultierende Anzahl an Vorhersagen kann um Größenordnungen größer als in einem normalen Vorhersagetask sein. Die erwartete Laufzeit wird entsprechend skaliert.

Sie können Prognosen mit AutoML erstellen oder den Tabellarischer Workflow für Prognosen verwenden, um lokale Feature-Attributionen zu generieren und abzufragen. Prognosen mit AutoML unterstützen nur Batchvorhersagen. Tabellarische Workflows für Prognosen unterstützen sowohl Batchvorhersagen als auch Onlinevorhersagen.

Vorteile

Wenn Sie bestimmte Instanzen prüfen und darüber hinaus Feature-Attributionen in Ihrem Trainings-Dataset erzeugen, erhalten Sie genauere Einblicke in die Funktionsweise Ihres Modells. Beachten Sie die folgenden Vorteile:

• Fehlerbehebungsmodelle: Mithilfe von Feature-Attributionen können Probleme in den Daten erkannt werden, die mit den Standardtechniken der Modellbewertung in der Regel nicht ermittelt werden.

• Modelle optimieren: Sie können weniger wichtige Features identifizieren und entfernen, was zu effizienteren Modellen führt.

Konzeptionelle Einschränkungen

Berücksichtigen Sie die folgenden Einschränkungen für Attributionen von Attributen:

• Feature-Attributionen, einschließlich der lokalen Merkmalwichtigkeit für AutoML, gelten für einzelne Vorhersagen. Die Prüfung der Feature-Attributionen für eine einzelne Vorhersage bietet möglicherweise einen guten Einblick, aber die Informationen sind eventuell nicht für die gesamte Klasse dieser einzelnen Instanz oder für das gesamte Modell verallgemeinerbar.

  Verallgemeinerbare Informationen zu AutoML-Modellen finden Sie in der Merkmalwichtigkeit des Modells. Für verallgemeinerbare Informationen zu anderen Modellen aggregieren Sie Attributionen für Teilmengen des Datasets oder für das gesamte Dataset.

• Jede Attribution zeigt nur an, wie stark sich das Feature auf die Vorhersage für dieses bestimmte Beispiel auswirkt. Eine einzelne Attribution spiegelt unter Umständen nicht das Gesamtverhalten des Modells wider. Aggregieren Sie Attributionen für das gesamte Dataset, um das ungefähre Modellverhalten für ein gesamtes Dataset zu verstehen.

• Obwohl Feature-Attributionen bei der Fehlerbehebung für Modelle hilfreich sein können, geben sie nicht immer deutlich genug an, ob ein Problem durch das Modell oder die Daten entsteht, auf denen das Modell trainiert wird. Gehen Sie nach bestem Wissen vor und diagnostizieren Sie häufige Datenprobleme, um mögliche Ursachen zu minimieren.

• Die Attributionen hängen vollständig vom Modell und den Daten ab, die zum Trainieren des Modells verwendet werden. Sie können nur die Muster erkennen, die vom Modell in den Daten gefunden wurden, keine grundlegenden Beziehungen in den Daten. Das Vorhandensein oder Fehlen einer starken Attribution zu einem bestimmten Feature bedeutet also nicht, dass eine Beziehung zwischen diesem Feature und dem Ziel besteht. Die Attribution zeigt lediglich, dass das Modell das Feature in seinen Vorhersagen verwendet oder nicht.

• Mit Attributionen allein lässt sich nicht feststellen, ob Ihr Modell angemessen, verzerrungsfrei oder von guter Qualität ist. Prüfen Sie Ihre Trainingsdaten und Evaluierungsmesswerte zusätzlich zu den Attributionen sorgfältig.

Weitere Informationen zu Einschränkungen finden Sie im Whitepaper zu AI Explanations.

Featureattributionen verbessern

Die folgenden Faktoren haben die größte Auswirkung auf Featureattributionen:

• Die Attributionsmethoden entsprechen ungefähr dem Shapley-Wert. Sie können die Genauigkeit der Näherung erhöhen, indem Sie die Anzahl der Pfade für die Stichproben-Shapley-Methode erhöhen. Dadurch können sich die Attributionen drastisch ändern.
• Die Attributionen geben nur an, wie stark sich das Feature auf die Änderung des Vorhersagewerts relativ zum Baselinewert auswirkt. Wählen Sie eine aussagekräftige Baseline, die für die Frage, die Sie dem Modell stellen, relevant ist. Die Attributionswerte und ihre Interpretation können sich erheblich ändern, wenn Sie Baselines wechseln.

Die Pfadanzahl und die Baselines finden Sie in den Erklärungsparametern und Metadaten.

Erklärungsmetadaten und -parameter anzeigen

Die Erklärungsparameter und die Metadaten enthalten Folgendes:

• static_value: Die Baselines, die zum Generieren von Erläuterungen verwendet werden.
• pathCount: Die Anzahl der Pfade, d. h. ein Faktor für die Zeit, die zum Generieren von Featureattributionen benötigt wird.
• historical_values, prediction_values: Spalten, die bei der Prognose verfügbar sind.
• historical_values: Spalten, die bei der Prognose nicht verfügbar sind.

Das Modell kann mit der Vertex AI REST API aufgerufen werden und enthält die Erklärungsspezifikation.

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID" | Select-Object -Expand Content

{
  "name": "projects/PROJECT/locations/LOCATION/models/MODEL_ID",
  "displayName": "MODEL_DISPLAYNAME",
  ...
  "explanationSpec": {
    "parameters": {
      "sampledShapleyAttribution": {
        "pathCount": 6
      },
      "topK": -1
    },
    "metadata": {
      "inputs": {
        "prediction_values": {
          "inputBaselines": [
            [
              {
                "date": "2016-11-17",
                "advertisement": "0",
                "holiday": "0"
              }
            ]
          ]
        },
        "static_value": {
          "inputBaselines": [
            {
              "product": "product_0",
              "store": "store_0"
            }
          ]
        },
        "historical_values": {
          "inputBaselines": [
            [
              {
                "date": "2016-11-17",
                "advertisement": "0",
                "holiday": "0",
                "sales": 371.03544292464909
              }
            ]
          ]
        }
      },
      "outputs": {
        "value": {}
      },
      "featureAttributionsSchemaUri": "..."
    }
  }
}

Algorithmus

Vertex AI bietet Feature-Attributionen unter Verwendung von Shapley Values, einem kooperativen Spieltheorie-Algorithmus, der jedem Spieler in einem Spiel eine Gewichtung für ein bestimmtes Ergebnis zuweist. Auf maschinelle Lernmodelle angewendet bedeutet dies, dass jedes Modellmerkmal als "Spieler" im Spiel behandelt wird und eine proportionale Gewichtung für das Ergebnis einer bestimmten Vorhersage erhält. Vertex AI verwendet für strukturierte Datenmodelle eine Stichprobenapproximation für exakte Shapley-Werte, die Sampled Shapley genannt werden.

Ausführliche Informationen zur Sampled-Shapley-Methode finden Sie im Artikel Bounding the Emulationation Error of Sampling-based Shapley Value Approximation (nur auf Englisch verfügbar).

Nächste Schritte

Die folgenden Ressourcen bieten weitere nützliche Lehrmaterialien:

• Interpretable Machine Learning: Shapley Values
• Einführung in Shapley-Werte