텍스트 분류 모델의 예측 결과 해석

Vertex AI는 예측을 요청한 후 모델의 목표에 따라 결과를 반환합니다. 다중 라벨 분류 모델의 예측은 각 문서에 대한 하나 이상의 라벨 및 각 라벨에 대한 신뢰도 점수를 반환합니다. 단일 라벨 분류 모델의 경우 예측은 문서당 하나의 라벨과 신뢰도 점수만 반환합니다.

신뢰도 점수는 모델이 각 클래스 또는 라벨을 테스트 항목과 얼마나 밀접하게 연관시키는지를 전달합니다. 숫자가 높을수록 해당 항목에 라벨이 적용되어야 하는 모델의 신뢰도가 높아집니다. 모델의 결과를 수락할 신뢰도 점수를 얼마나 높게 책정할지 결정합니다.

점수 기준점 슬라이더

Google Cloud 콘솔에서 Vertex AI는 모든 클래스나 라벨 또는 개별 클래스나 라벨의 신뢰도 기준을 조정하는 데 사용되는 슬라이더를 제공합니다. 슬라이더는 평가 탭의 모델 세부정보 페이지에서 사용할 수 있습니다. 신뢰도 기준점은 모델이 테스트 항목에 클래스 또는 라벨을 할당하는 데 필요한 신뢰도 수준입니다. 기준점을 조정할 때 모델의 정밀도와 재현율이 어떻게 변경되는지 확인할 수 있습니다. 기준점이 높으면 대개 정밀도가 높아지며 재현율이 낮아집니다.

일괄 예측 출력 예시

다음 샘플은 다중 라벨 분류 모델의 예측 결과입니다. 모델이 제출된 문서에 GreatService, Suggestion, InfoRequest 라벨을 적용했습니다. 신뢰도 값은 각 라벨에 순서대로 적용됩니다. 이 예시에서 모델은 GreatService를 가장 관련성 높은 라벨로 예측했습니다.

{
  "instance": {"content": "gs://bucket/text.txt", "mimeType": "text/plain"},
  "predictions": [
    {
      "ids": [
        "1234567890123456789",
        "2234567890123456789",
        "3234567890123456789"
      ],
      "displayNames": [
        "GreatService",
        "Suggestion",
        "InfoRequest"
      ],
      "confidences": [
        0.8986392080783844,
        0.81984345316886902,
        0.7722353458404541
      ]
    }
  ]
}