Данные и качество
Как читать метрики классификации
Accuracy, precision и recall отвечают на разные вопросы о результате модели.
Начните с двух видов ошибок
Представим модель, которая отмечает обращения для ручной проверки. Ложное срабатывание — обычное обращение, которое она отправила на проверку. Пропуск — обращение, требовавшее проверки, которое модель не отметила.
Эти ошибки приводят к разным последствиям: ложные срабатывания занимают время специалистов, а пропуски оставляют проблемные случаи без внимания. Поэтому одной общей оценки часто недостаточно.
Три разных вопроса
Ниже положительным классом считаются обращения, которым действительно нужна ручная проверка. Это определение нужно зафиксировать до расчёта метрик.
| Метрика | На какой вопрос отвечает |
|---|---|
| Accuracy · доля правильных ответов | Какую долю всех обращений модель классифицировала верно? |
| Precision · точность | Какая доля отмеченных обращений действительно требовала проверки? |
| Recall · полнота | Какую долю всех нуждавшихся в проверке обращений модель нашла? |
Порог и рабочее решение
Если модель выдаёт оценку вероятности, приложение сравнивает её с порогом. Более низкий порог обычно увеличивает число отмеченных обращений: пропусков становится меньше, но ложных срабатываний может стать больше.
Выбирайте порог на валидационных данных с учётом допустимых ошибок и возможностей команды. Проверяйте показатели по отдельным типам обращений и сохраняйте примеры ошибок для разбора.