Valutare i modelli di previsione AutoML

Questa pagina mostra come valutare i modelli di previsione AutoML utilizzando le metriche di valutazione del modello. Queste metriche forniscono misure quantitative del rendimento del modello sul set di test. L'interpretazione e l'utilizzo di queste metriche dipendono dalle esigenze aziendali e dal problema che il modello è addestrato a risolvere. Ad esempio, potresti avere una tolleranza inferiore per i falsi positivi rispetto ai falsi negativi o viceversa. Questi tipi di domande influiscono sulle metriche su cui ti concentrerai.

Prima di iniziare

Prima di poter valutare un modello, devi addestrarlo e attendere il completamento dell'addestramento.

Utilizza la console o l'API per controllare lo stato del job di addestramento.

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content

  If the model is still being trained:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "displayName": "MODEL_DISPLAY_NAME"
    },
    "state": "PIPELINE_STATE_RUNNING",
    ...
  }

  If the model training is complete:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID",
      "displayName": "MODEL_DISPLAY_NAME",
      "versionID": "1"
    },
    "state": "PIPELINE_STATE_SUCCEEDED",
    ...
  }

Recupero delle metriche di valutazione

Puoi ottenere un insieme aggregato di metriche di valutazione per il tuo modello. I seguenti contenuti descrivono come ottenere queste metriche utilizzando la console o l'API Google Cloud .

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

{
  "modelEvaluations": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID",
      "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/forecasting_metrics_1.0.0.yaml",
      "metrics": {
        "rootMeanSquaredError": 719.0045,
        "meanAbsoluteError": 487.0792,
        "meanAbsolutePercentageError": "Infinity",
        "rSquared": 0.8837288,
        "rootMeanSquaredLogError": "NaN",
        "quantileMetrics": [
          {
            "quantile": 0.2,
            "scaledPinballLoss": 157.34422,
            "observedQuantile": 0.15918367346938775
          },
          {
            "quantile": 0.5,
            "scaledPinballLoss": 243.5396,
            "observedQuantile": 0.45551020408163267
          },
          {
            "quantile": 0.8,
            "scaledPinballLoss": 175.39418,
            "observedQuantile": 0.81183673469387752
          }
        ]
      },
      "createTime": "2021-04-13T01:00:54.091953Z"
    }
  ]
}

Metriche di valutazione del modello

Un file di schema determina quali metriche di valutazione fornisce Vertex AI per ogni obiettivo.

Puoi visualizzare e scaricare i file di schema dalla seguente posizione di Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/

Le metriche di valutazione per i modelli di previsione sono:

• MAE: l'errore medio assoluto (MAE) indica la differenza media assoluta tra i valori target e quelli previsti. Questa metrica va da zero a infinito e un valore inferiore corrisponde a un modello di qualità superiore.
• MAPE: l'errore percentuale assoluto medio (MAPE, Mean Absolute Percentage Error) corrisponde alla differenza percentuale media assoluta tra le etichette e i valori previsti. Questa metrica va da zero a infinito, dove un valore più basso indica un modello di qualità migliore.
  Se la colonna target contiene valori zero, il MAPE non viene mostrato. In questo caso, il MAPE non è definito.
• RMSE: l'errore quadratico medio è la radice quadrata della media della differenza quadratica tra i valori di destinazione e quelli previsti. L'RMSE è più sensibile agli outlier rispetto al MAE. Di conseguenza,se la preoccupazione principale riguarda gli errori di grande entità, l'RMSE può essere una metrica più utile da valutare. Analogamente al MAE, un valore minore indica un modello di qualità migliore (0 rappresenta un predittore perfetto).
• RMSLE: la metrica dell'errore logaritmico quadratico medio è simile all'RMSE, tranne per il fatto che utilizza il logaritmo naturale dei valori previsti ed effettivi più 1. Penalizza in misura maggiore la sottoprevisione rispetto alla sovraprevisione. Può essere una buona metrica anche nel caso in cui non si voglia penalizzare più pesantemente le differenze per i valori di previsione elevati rispetto a quelli ridotti. Questa metrica varia da zero a infinito e un valore inferiore indica un modello di qualità superiore. La metrica di valutazione RMSLE viene restituita solo se tutti i valori previsti e tutte le etichette sono non negativi.
• r^2: r al quadrato (r^2) è il quadrato del coefficiente di correlazione Pearson tra le etichette e i valori previsti. Questa metrica va da zero a uno. Un valore più alto indica una maggiore aderenza alla retta di regressione.
• Quantile: il quantile percentuale, che indica la probabilità che un valore osservato sia inferiore al valore previsto. Ad esempio, al quantile 0,2, i valori osservati dovrebbero essere inferiori ai valori previsti nel 20% dei casi. Vertex AI fornisce questa metrica se specifichi minimize-quantile-loss per l'obiettivo di ottimizzazione.
• Quantile osservato: mostra la percentuale di valori veri inferiori al valore previsto per un determinato quantile. Vertex AI fornisce questa metrica se specifichi minimize-quantile-loss per l'obiettivo di ottimizzazione.
• Perdita pinball scalata: la perdita pinball scalata a un quantile specifico. Un valore più basso indica un modello di qualità migliore al quantile specificato. Vertex AI fornisce questa metrica se specifichi minimize-quantile-loss per l'obiettivo di ottimizzazione.
• Attribuzioni delle caratteristiche del modello: Vertex AI mostra l'impatto di ciascuna caratteristica su un modello. I valori sono forniti sotto forma di percentuale per ogni caratteristica: più alta è la percentuale, maggiore è l'impatto della caratteristica sull'addestramento del modello. Esamina queste informazioni per assicurarti che tutte le caratteristiche più importanti abbiano senso per i dati in uso e per il problema aziendale. Per saperne di più, consulta Attribuzioni delle funzionalità per le previsioni.

Passaggi successivi

• Ottieni previsioni dal modello di previsione.