Расчет точности, отзыва и F1-баллы для задач классификации Nlp

Точность, отзыв и оценка F1 являются важными показателями, используемыми для оценки эффективности моделей классификации НЛП. Они помогают понять, насколько хорошо модель предсказывает различные классы, особенно в несбалансированных наборах данных.

Понимание точности

Точность измеряет долю истинных положительных предсказаний среди всех положительных предсказаний, сделанных моделью. Она указывает, сколько из предсказанных положительных случаев на самом деле являются положительными.

Воспоминание о понятии

Напомним, также известная как чувствительность, измеряет долю фактических положительных случаев, которые правильно определены моделью. Она отражает способность модели обнаруживать положительные случаи.

Вычисление F1-Score

F1-баллы - это гармоническое среднее точности и отзыва. Он обеспечивает единую метрику, которая уравновешивает оба, особенно полезно, когда распределение классов неравномерно.

Пример расчета

Предположим, что модель предсказывает 80 положительных случаев, из которых 60 верны. Общие фактические положительные случаи составляют 70. Расчеты следующие: