Interpretar los resultados de las predicciones de los modelos de clasificación de texto

.

Después de solicitar una predicción, Vertex AI devuelve resultados basados en el objetivo de tu modelo. Las predicciones de los modelos de clasificación multietiqueta devuelven una o varias etiquetas por documento y una puntuación de confianza por cada etiqueta. En el caso de los modelos de clasificación de una sola etiqueta, las predicciones devuelven solo una etiqueta y una puntuación de confianza por documento.

La puntuación de confianza indica la intensidad con la que tu modelo asocia cada clase o etiqueta con un elemento de prueba. Cuanto mayor sea el número, mayor será la confianza del modelo en que la etiqueta se debe aplicar a ese elemento. Tú decides lo alto que debe ser el nivel de confianza para aceptar los resultados del modelo.

Control deslizante de umbral de puntuación

En la Google Cloud consola, Vertex AI proporciona un control deslizante que se usa para ajustar el umbral de confianza de todas las clases o etiquetas, o de una clase o etiqueta concreta. El control deslizante está disponible en la página de detalles de un modelo, en la pestaña Evaluar. El umbral de confianza es el nivel de confianza que debe tener el modelo para poder asignar una clase o una etiqueta a un elemento de prueba. A medida que ajustas el umbral, puedes ver cómo cambian la precisión y la recuperación del modelo. Con umbrales más altos suele aumentar la precisión pero se reduce la recuperación.

Ejemplo de resultado de predicción por lotes

El siguiente ejemplo es el resultado predicho de un modelo de clasificación de varias etiquetas. El modelo ha aplicado las etiquetas GreatService, Suggestion y InfoRequest al documento enviado. Los valores de confianza se aplican a cada una de las etiquetas en orden. En este ejemplo, el modelo ha predicho GreatService como la etiqueta más relevante.

{
  "instance": {"content": "gs://bucket/text.txt", "mimeType": "text/plain"},
  "predictions": [
    {
      "ids": [
        "1234567890123456789",
        "2234567890123456789",
        "3234567890123456789"
      ],
      "displayNames": [
        "GreatService",
        "Suggestion",
        "InfoRequest"
      ],
      "confidences": [
        0.8986392080783844,
        0.81984345316886902,
        0.7722353458404541
      ]
    }
  ]
}