Preparare i dati di addestramento del testo per l'analisi del sentiment

Questa pagina descrive come preparare i dati di testo da utilizzare in un set di dati Vertex AI per addestrare un modello di analisi del sentiment.

I dati di addestramento per l'analisi del sentiment sono costituiti da documenti associati a un valore di sentiment che indica il sentiment dei contenuti. Ad esempio, potresti avere tweet su un determinato dominio, come i viaggi aerei. A ogni tweet è associato un valore di sentiment che indica se il tweet è positivo, negativo o neutro.

Requisiti dei dati

• Devi fornire almeno 10, ma non più di 100.000, documenti di formazione.
• Un valore di sentiment deve essere un numero intero compreso tra 0 e 10. Il valore del sentiment massimo è a tua scelta. Ad esempio, se vuoi identificare se il sentiment è negativo, positivo o neutro, puoi etichettare i dati di addestramento con punteggi di sentiment pari a 0 (negativo), 1 (neutro) e 2 (positivo). Il prezzo massimo del sentiment per questo set di dati è 2. Se vuoi ottenere una maggiore granularità, ad esempio cinque livelli di sentiment, puoi etichettare i documenti da 0 (più negativo) a 4 (più positivo).
• Devi applicare ogni valore di sentiment ad almeno 10 documenti.
• I valori del punteggio del sentiment devono essere numeri interi consecutivi a partire da zero. Se i punteggi presentano lacune o non partono da zero, rimappali in modo che siano numeri interi consecutivi che partono da zero.
• Puoi includere documenti in linea o file TXT di riferimento che si trovano nei bucket Cloud Storage.

Best practice per i dati di testo utilizzati per addestrare i modelli AutoML

I seguenti consigli si applicano ai set di dati utilizzati per addestrare i modelli AutoML.

• Fornisci almeno 100 documenti per valore di sentiment.
• Utilizza un numero equilibrato di documenti per ogni punteggio del sentiment. Avere più esempi per determinati punteggi di sentiment può introdurre bias nel modello.

File di input

I tipi di file di input per l'analisi del sentiment possono essere JSON Lines o CSV.

{
  "sentimentAnnotation": {
    "sentiment": number,
    "sentimentMax": number
  },
  "textContent": "inline_text",
  "dataItemResourceLabels": {
    "aiplatform.googleapis.com/ml_use": "training|test|validation"
  }
}
{
  "sentimentAnnotation": {
    "sentiment": number,
    "sentimentMax": number
  },
  "textGcsUri": "gcs_uri_to_file",
  "dataItemResourceLabels": {
    "aiplatform.googleapis.com/ml_use": "training|test|validation"
  }
}

  [ml_use],gcs_file_uri|"inline_text",sentiment,sentimentMax
  

  test,gs://path_to_file,sentiment_value,sentiment_max_value
  test,"inline_text",sentiment_value,sentiment_max_value
  training,gs://path_to_file,sentiment_value,sentiment_max_value
  validation,gs://path_to_file,sentiment_value,sentiment_max_value