Данные и качество
Зачем разделять данные
Обучающая, валидационная и тестовая выборки — на простом примере.
У каждой части своя роль
Качество на обучающих примерах не показывает, как модель справится с новыми. Она может подстроиться под особенности знакомых данных. Поэтому часть примеров откладывают для проверки.
Универсального соотношения размеров выборок нет. Проверочных примеров должно хватать для оценки важных сценариев, в том числе редких.
| Выборка | Для чего нужна |
|---|---|
| Обучающая | Подобрать параметры модели. |
| Валидационная | Сравнивать варианты и выбирать настройки. |
| Тестовая | Оценить выбранный вариант после завершения настройки. |
Как в проверку попадают подсказки
Утечка данных возникает, когда при разработке используется информация, недоступная в реальном сценарии прогноза, или сведения из проверочной выборки влияют на обучение.
Представим, что одно обращение несколько раз выгрузили из системы. Если его копии попали и в обучение, и в тест, проверка частично измеряет узнавание знакомого текста. Такие связанные записи нужно учитывать при разделении.
Что проверить перед обучением
Сначала определите, что в вашей задаче считается новым примером: новое обращение, новый клиент или новый период. Это определяет способ разделения данных.
- Копии и связанные записи не создают подсказок между выборками.
- Признаки доступны в момент, когда нужен прогноз.
- Разметка использует одинаковые определения во всех выборках.
- Итоги теста не используются для бесконечной настройки одной и той же модели.