Методика регулярної роботи є важливими в машинному навчанні, щоб запобігти перенаряддя, яка виникає, коли модель вивчає шум замість основного шаблону. Впровадження ефективних методів регулярної обробки покращує узагальнення моделі та продуктивність на невидимих даних.

L1 Регулярне оформлення (Лассо)

L1 нормалізація додає штраф, що дорівнює абсолютній величині коефіцієнтів. Це сприяє поширенню, ефективно зменшуючи деякі коефіцієнти до нуля, що може призвести до вибору та простих моделей.

L2 Регулярне оформлення (Рідж)

L2-перевірка додає штрафний пропорційний площі коефіцієнтів. Він розшифровує великі ваги, що призводить до гладких моделей, що менш чутливі до коливань в даних тренувань.

КРОК

Dropout - це техніка, яка використовується в основному в нейромережах, де випадково вибрані нейрони ігноруються під час тренувань. Це запобігає нейронів з ко-адаптингу занадто багато, зменшуючи перенаряддя та поліпшення міцності моделі.

Раннє стрибок

Раннє припинення передбачає моніторинг виконання моделі на встановленому під час тренувань. Тренінг припиняється, коли робота починає відхиляти, запобігаючи моделі перенаряддя даних про тренінги.

Регулярне навчання в практиці

Застосування методики регулярної роботи вимагає від натяжності гіперпараметрів, таких як міцність регулювання. Перехресне визначення оптимальних значень, балансування моделі складності і продуктивності.