Componenti della valutazione del modello

I componenti di valutazione del modello prendono come input i risultati dei dati di riferimento e della previsione batch e generano metriche di valutazione. I dati di riferimento sono dati "etichettati correttamente" determinati da persone e vengono in genere forniti come campo target nel set di dati di test utilizzato per addestrare il modello. Per ulteriori informazioni, consulta Valutazione dei modelli in Vertex AI.

Vertex AI fornisce i seguenti componenti di valutazione del modello:

• ModelEvaluationClassificationOp
• ModelEvaluationForecastingOp
• ModelEvaluationRegressionOp

Supporto del tipo di modello

La seguente tabella mostra i tipi di modelli supportati per ciascun componente di valutazione del modello:

Rimuovere il campo target

Per alcuni tipi di modelli, il componente BatchPredictionJob richiede di escludere la colonna target (verità di riferimento) dal set di dati.

Configurare e formattare le sezioni per il set di dati tabellare

Una sezione è un sottoinsieme di dati tabellari con caratteristiche specifiche. Le metriche sezionate offrono metriche di valutazione più granulari per i modelli di classificazione AutoML tabulari e di addestramento personalizzato.

Ad esempio, considera un set di dati sull'adozione di animali domestici in cui un modello viene addestrato per prevedere se un animale domestico verrà adottato entro una settimana. Sebbene sia utile esaminare le metriche per l'intero set di dati, potresti essere interessato alle metriche relative alla specie e all'età dell'animale domestico. In altre parole, ti interessa il seguente sottoinsieme del set di dati:

Questa analisi granulare può essere utile per identificare le aree in cui il modello potrebbe essere più soggetto a errori o per garantire che il modello funzioni bene su sottoinsiemi critici dei dati.

Configurare le sezioni

Per configurare una sezione, crea un file JSON con la seguente configurazione:

{
  "FEATURE": {
    "KIND": {
      CONFIG
    }
  }
}

Dove:

• FEATURE è una funzionalità per cui vuoi creare una sezione. Ad esempio, age.

• KIND è uno dei seguenti:

  • value

    value crea una singola sezione su un singolo valore di una caratteristica. Specifica CONFIG come coppia chiave-valore in cui la chiave è float_value o string_value. Ad esempio, "float_value": 1.0.

    La seguente configurazione di esempio crea una singola sezione contenente dati con il age di 1:

    {
      "age": {
        "value": {
          "float_value": 1.0
        }
      }
    }

  • range

    range crea una singola sezione che include i dati all'interno di un intervallo specificato. Specifica CONFIG come due coppie chiave-valore in cui le chiavi sono low e high.

    La seguente configurazione di esempio crea una singola sezione contenente dati in cui age è un valore compreso tra 1 e 3:

    {
      "age": {
        "range": {
          "low": 1,
          "high": 3
        }
      }
    }

  • all_values

    all_values crea una sezione separata per ogni etichetta possibile per la funzionalità. Specifica CONFIG come "value": true.

    La seguente configurazione di esempio crea tre sezioni, una per "dog", "cat" e "rabbit":

    {
      "species": {
        "all_values": {
          "value": true
        }
      }
    }

Puoi anche utilizzare più funzionalità per creare una o più sezioni.

La seguente configurazione crea una singola sezione contenente dati in cui age è compreso tra 1 e 3 e species è "dog":

{
  "age": {
    "range": {
      "low": 1,
      "high": 3
    }
  },
  "species": {
    "value": {
      "string_value": "dog"
    }
  }
}

La seguente configurazione crea più sezioni, una per ogni specie univoca nel set di dati, in cui age è 1.

{
  "species": {
    "all_values": {
      "value": true
    }
  },
  "age": {
    "value": {
      "float_value": 1.0
    }
  }
}

Le sezioni risultanti contengono i seguenti dati del set di dati di esempio:

• Sezione 1: age:1 e species:"dog"

• Sezione 2: age:1 e species:"cat"

• Sezione 3: age:1 e species:"rabbit"

Formattare le sezioni

Per formattare le sezioni per il componente ModelEvaluationClassificationOp, segui questi passaggi:

1. Crea un slicing_spec. Ad esempio:

   from google.cloud.aiplatform_v1.types.ModelEvaluationSlice.Slice import SliceSpec
   from google.cloud.aiplatform_v1.types.ModelEvaluationSlice.Slice.SliceSpec import SliceConfig
   
   slicing_spec = SliceSpec(configs={ 'feature_a': SliceConfig(SliceSpec.Value(string_value='label_a') ) })

2. Crea un elenco per archiviare le configurazioni delle sezioni. Ad esempio:

   slicing_specs = []

3. Formatta ogni slicing_spec come JSON o dizionario. Ad esempio:

   slicing_spec_json = json_format.MessageToJson(slicing_spec)
   
   slicing_spec_dict = json_format.MessageToDict(slicing_spec)

4. Combina ogni slicing_spec in un elenco. Ad esempio:

   slicing_specs.append(slicing_spec_json)

5. Passa slicing_specs come parametro al componente ModelEvaluationClassificationOp. Ad esempio:

   ModelEvaluationClassificationOp(slicing_specs=slicing_specs)

Formattare le sezioni di configurazione delle metriche di equità

Per valutare l'equità del modello, utilizza i seguenti componenti:

• DetectDataBiasOp: restituisce le metriche di distorsione dei dati per le sezioni che passi al componente.

• DetectModelBiasOp: restituisce le metriche di distorsione del modello per le sezioni che passi al componente.

Per formattare le sezioni per i componenti DetectDataBiasOp e DetectModelBiasOp:

1. Crea un BiasConfig. Ad esempio:

   from google.cloud.aiplatform_v1.types.ModelEvaluation import BiasConfig
   from google.cloud.aiplatform_v1.types.ModelEvaluationSlice.Slice import SliceSpec
   from google.cloud.aiplatform_v1.types.ModelEvaluationSlice.Slice.SliceSpec import SliceConfig
   
   bias_config = BiasConfig(bias_slices=SliceSpec(configs={ 'feature_a': SliceConfig(SliceSpec.Value(string_value='label_a') ) }))

2. Crea un elenco per archiviare le configurazioni del bias. Ad esempio:

   bias_configs = []

3. Formatta ogni bias_config come JSON o dizionario. Ad esempio:

   bias_config_json = json_format.MessageToJson(bias_config)
   
   bias_config_dict = json_format.MessageToDict(bias_config)

4. Combina ogni bias_config in un elenco. Ad esempio:

   bias_configs.append(bias_config_json)

5. Passa bias_configs come parametro al componente DetectDataBiasOp o DetectModelBiasOp. Ad esempio:

   DetectDataBiasOp(bias_configs=bias_configs)
   
   DetectModelBiasOp(bias_configs=bias_configs)

Parametri di input obbligatori

I parametri di input richiesti per i componenti di valutazione del modello variano in base al tipo di modello che stai valutando.

Modelli AutoML

Durante l'addestramento dei modelli AutoML, Vertex AI utilizza schemi predefiniti. Alcuni parametri di input per i componenti di valutazione del modello sono obbligatori solo se hai utilizzato uno schema non predefinito per addestrare il modello.

Puoi visualizzare e scaricare i file di schema dalla seguente posizione di Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/

Le seguenti schede mostrano file di output di previsione batch di esempio e i parametri di input richiesti per ogni tipo di modello:

{
  "instance": {
    "male": "1",
    "age": "49",
    "heartRate": "67",
    "education": "medium_high",
    "totChol": "282",
    "diaBP": "79",
    "BPMeds": "0",
    "currentSmoker": "current_high",
    "cigsPerDay": "25",
    "prevalentStroke": "stroke_0",
    "prevalentHyp": "hyp_0",
    "TenYearCHD": "FALSE",
    "diabetes": "0",
    "sysBP": "134",
    "BMI": "26.87",
    "glucose": "78"
    },
  "prediction": {
      "scores": [0.3666940927505493, 0.6333059072494507],
      "classes": ["0", "1"]
    }
}
          

{
  "instance": {
    "BPMeds": "0",
    "diabetes": "0",
    "diaBP": "65",
    "cigsPerDay": "45",
    "prevalentHyp": "hyp_0",
    "age": "46",
    "male": "1",
    "sysBP": "112.5",
    "glucose": "78",
    "BMI": "27.48",
    "TenYearCHD": "FALSE",
    "totChol": "209",
    "education": "high",
    "prevalentStroke": "stroke_0",
    "heartRate": "75",
    "currentSmoker": "current_high"
  },
  "prediction": {
    "value": 44.96103286743164,
    "lower_bound": 44.61349868774414,
    "upper_bound": 44.590206146240234
  }
}
          

date,store_name,city,zip_code,county,sale_dollars
2020-03-17,Thriftway,,,,774.08999999999992
2020-03-10,Thriftway,,,,1160.67
2020-03-03,Thriftway,,,,2247.24
2020-06-08,New Star / Fort Dodge,,,,753.98
2020-06-01,New Star / Fort Dodge,,,,967.73
2020-01-10,Casey's General Store #1280 / Fort Dodge,,,,1040.92
2020-10-30,KUM & GO #76 / ADAIR,Adair,50002,ADAIR,1387.02
          

date,store_name,city,zip_code,county
2020-03-17,Thriftway,nan,nan,nan
2020-03-10,Thriftway,nan,nan,nan
2020-03-03,Thriftway,nan,nan,nan
2020-06-08,New Star / Fort Dodge,nan,nan,nan
2020-06-01,New Star / Fort Dodge,nan,nan,nan
2020-01-10,Casey's General Store #1280 / Fort Dodge,nan,nan,nan
2020-10-30,KUM & GO #76 / ADAIR,Adair,50002.0,ADAIR
          

{
  "instance": {
    "content": "gs://kbn-us-central1-test/datasets/text/happy_11556.txt",
    "mimeType":"text/plain"
  },
  "prediction": {
    "ids":    ["7903916851837534208","3292230833410146304","986387824196452352","2139309328803299328","5598073842623840256","6750995347230687232","4559431178561519616"],
    "displayNames": ["affection","bonding","achievement","exercise","nature","enjoy_the_moment","leisure"],
    "confidences": [0.99483216,0.005162797,4.1117933E-6,3.9997E-7,2.4624453E-7,1.9969502E-7,1.16997434E-7]
  }
}
          

{
  "content": "gs://kbn-us-central1-test/datasets/text/happy_0.txt",
  "mimeType": "text/plain",
  "label": "affection"
}
          

{
  "content": "gs://kbn-us-central1-test/datasets/text/happy_0.txt",
  "mimeType": "text/plain"
}
          

{
  "instance": {
    "content": "gs://kbn-us-central1-test/datasets/text/happy_11556.txt",
    "mimeType":"text/plain"
  },
  "prediction": {
    "ids":    ["7903916851837534208","3292230833410146304","986387824196452352","2139309328803299328","5598073842623840256","6750995347230687232","4559431178561519616"],
    "displayNames": ["affection","bonding","achievement","exercise","nature","enjoy_the_moment","leisure"],
    "confidences": [0.99483216,0.005162797,4.1117933E-6,3.9997E-7,2.4624453E-7,1.9969502E-7,1.16997434E-7]
  }
}
          

{
  "content": "gs://automl-video-demo-data/hmdb51/Aerial_Cartwheel_Tutorial_By_Jujimufu_cartwheel_f_nm_np1_ri_med_0.avi",
  "ground_truth": "cartwheel",
  "timeSegmentStart": "0.0",
  "timeSegmentEnd": "inf"
}
          

{
  "content": "gs://automl-video-demo-data/hmdb51/Aerial_Cartwheel_Tutorial_By_Jujimufu_cartwheel_f_nm_np1_ri_med_0.avi",
  "timeSegmentStart": "0.0",
  "timeSegmentEnd": "inf"
}
          

{
  "instance": {
    "content": "gs://automl-video-demo-data/hmdb51/20_Marine_Corps_Pull_Ups___JimmyDShea_pullup_f_cm_np1_ba_bad_3.avi"
    "mimeType": "video/avi",
    "timeSegmentStart": "0.0",
    "timeSegmentEnd": "inf"
  },
  "prediction": [
    {
      "id":"5015420640832782336",
      "displayName":"pullup",
      "type":"segment-classification",
      "timeSegmentStart":"0s",
      "timeSegmentEnd":"2.600s",
      "confidence":0.98152995
    },
    {
      "id":"2709577631619088384",
      "displayName":"cartwheel",
      "type":"segment-classification",
      "timeSegmentStart":"0s",
      "timeSegmentEnd":"2.600s",
      "confidence":0.0047166348
    },
    {
      "id":"403734622405394432",
      "displayName":"golf",
      "type":"segment-classification",
      "timeSegmentStart":"0s",
      "timeSegmentEnd":"2.600s",
      "confidence":0.0046260506
    },
    {
      "id":"1556656127012241408",
      "displayName":"ride_horse",
      "type":"segment-classification",
      "timeSegmentStart":"0s",
      "timeSegmentEnd":"2.600s",
      "confidence":0.004590442
    },
    {
      "id":"7321263650046476288",
      "displayName":"kick_ball",
      "type":"segment-classification",
      "timeSegmentStart":"0s",
      "timeSegmentEnd":"2.600s",
      "confidence":0.004536863
    }
  ]
}
          

Modelli con addestramento personalizzato

Per i modelli addestrati personalizzati, il componente BatchPredictionJob richiede di escludere la colonna target (verità di riferimento) dal set di dati. Puoi utilizzare il componente TargetFieldDataRemoverOp per un flusso di lavoro più efficiente.

L'esempio seguente mostra un file di output della previsione batch e i parametri di input richiesti per un modello di classificazione tabulare addestrato personalizzato:

petal_length,petal_width,sepal_length,sepal_width,species
6.4,2.8,5.6,2.2,2
5.0,2.3,3.3,1.0,1
4.9,2.5,4.5,1.7,2
4.9,3.1,1.5,0.1,0
          

petal_length,petal_width,sepal_length,sepal_width
6.4,2.8,5.6,2.2
5.0,2.3,3.3,1.0
4.9,2.5,4.5,1.7
4.9,3.1,1.5,0.1
          

{
  "instance": [5.6, 2.5, 3.9, 1.1],
  "prediction": [0.0005816521588712931, 0.9989032745361328, 0.0005150380893610418]
}
{
  "instance": [5.0, 3.6, 1.4, 0.2],
  "prediction": [0.999255359172821, 0.000527293945197016, 0.00021737271163146943]
}
{
  "instance": [6.0, 2.9, 4.5, 1.5],
  "prediction": [0.00025063654175028205, 0.9994204044342041, 0.00032893591560423374]
}
          

Valutazioni dei modelli senza previsioni batch generate da Vertex AI

Puoi utilizzare un componente della pipeline di valutazione del modello con una previsione batch che non hai generato in Vertex AI. Tuttavia, tieni presente che l'input per il componente della pipeline di valutazione del modello deve essere una directory di previsione batch contenente file che corrispondono ai seguenti prefissi:

• prediction.results-

• explanation.results-

• predictions_

Riferimento API

• Per il riferimento ai componenti, consulta la pagina di riferimento dell'SDK per i componenti di valutazione del modello.Google Cloud

• Per esempi di utilizzo dei componenti di valutazione del modello, consulta i blocchi note elencati in Crea una valutazione.

Cronologia delle versioni e note di rilascio

Per scoprire di più sulla cronologia delle versioni e sulle modifiche all'SDK Google Cloud Pipeline Components, consulta le Google Cloud note di rilascio dell'SDK Pipeline Components.