Регулярність – це техніка, яка використовується в машинному навчанні, щоб запобігти перенаряддя, додаючи штраф у функцію втрати. Вона допомагає моделям, що в цілому краще не засвідчувати дані, дискуруючими комплексними рішеннями.

Теорія перевизначення

Регулярна обробка вводить додаткові умови для об'єктивної функції під час тренувань. Ці умови керують великими параметрами моделі, що забезпечують простіші моделі, які менш ймовірні для влаштування шуму в даних.

Загальні методи регулярної роботи

  • L1 Регулярність: Додати абсолютне значення коефіцієнтів до функції втрати, сприяння поширенню.
  • L2 Регулярність: Додати номінальну вартість коефіцієнтів, що прискорюють меншу вагу.
  • Dropout: Випадково краплі юнітів під час тренувань, щоб зменшити опір на специфічних нейронах.
  • Early Stopping: Стоп-тренінг при виконанні перевірок даних починає відхиляти.

Розрахунок та реалізація

У лінійному регресі, наприклад, L2-релізація модіфікує функцію вартості:

Втрата = Сума квадратичних помилок + λ * Сума Квадратних мас

де λ (лямбаб) є параметром регулювання, що контролює відповідальність за штрафи. Вибір відповідного λ є вирішальним і часто робиться через перехресну роботу.

Кращі практики

При здійсненні регулярної процедури слід враховувати такі кращі практики:

  • Використовуйте крос-офісацію для налаштування параметрів.
  • Почати з простих моделей і поступово збільшити складність.
  • У поєднанні з декількома методами регулярної обробки, якщо необхідно.
  • Контроль виконання перевірок, щоб уникнути підживлення або перенарядки.