Переобучение происходит, когда нейронная сеть слишком хорошо изучает данные обучения, включая шум и выбросы, что снижает ее способность обобщать новые данные.Устранение неполадок включает в себя выявление признаков и применение методов для повышения производительности модели на невидимых данных.

Признаки переоборудования

Общие показатели включают высокую точность обучения в сочетании со значительно более низкой точностью проверки.Кроме того, потеря обучения продолжает уменьшаться, в то время как плато потери проверки или увеличивается.

Техника для смягчения переобучения

Несколько методов могут помочь уменьшить переобучение в нейронных сетях:

  • Регуляризация: Добавляет штраф к функции потери, чтобы препятствовать сложным моделям, таким как регуляризация L1 или L2.
  • Выпадение: Случайно отключает нейроны во время тренировки, чтобы предотвратить коадаптацию.
  • Раннее прекращение: Прекратить обучение, когда производительность проверки начинает снижаться.
  • Увеличение данных: Увеличение разнообразия данных обучения посредством преобразований.
  • Уменьшение сложности модели: Использует более простые архитектуры с меньшим количеством параметров.

Расчеты и метрики

Мониторинг показателей, таких как потеря валидации и точность помогает определить переобучение. Расчеты, такие как разница между обучением и точностью валидации, могут количественно оценить переобучение. Перекрёстная валидация обеспечивает более надежную оценку обобщения модели.