Неуралні мережі є потужними інструментами для вирішення складних завдань, але вони також можуть перенарядити навчальні дані, зменшуючи їх здатність до узагальнення нових даних. Методика регулярної обробки допомагають контролювати модель складності і підвищити продуктивність на невидимих даних. У статті досліджуються загальні методи регулярної локалізації, що використовуються в нейромережі.

КРОК

Dropout - це техніка, де випадково вибрані нейрони ігноруються під час тренувань. Це запобігає нейронів від ко-адаптингу та стимулює мережу для розробки більш міцних функцій. Під час тестування використовуються всі нейрони, але їх виходи використовуються для зниження під час тренувань.

Вага Дека

Вага декай додає штрафу функцію втрати на основі розміру ваги. Це дискурує великі ваги, які можуть призвести до перенарядки. Зазвичай L2 використовується, де штраф пропорційно сумі Квадратних мас.

Оздоблення даних

Аугментація даних збільшує різноманітність навчальних даних шляхом застосування трансформацій, таких як обертання, переклади, або масштабування. Це допомагає моделі дізнатися більше загальної функції і зменшує наряд, особливо в задачах образу і мови.

Раннє стрибок

Раннє припинення передбачає моніторинг виконання моделі на встановленому під час тренувань. Навчання проводиться при підвищенні продуктивності, запобіганні моделі з перенаряддя даних про тренінг.

Методика регулярного навчання

  • Dropout: Випадково ігнорує нейрони під час тренувань.
  • Висотний Дегей: Penalizes largeваг для запобігання перенаряддя.
  • Data Оздоблення: Очікується дані тренінгу з перетвореннями.
  • Early Stopping: Стоп-тренінг при виконанні робіт плато.