Регулярна ставка – це техніка, яка використовується в нейромережах для запобігання перенаряддя. Вона передбачає випадково деактивацію підмножини нейронів під час тренувань, що допомагає моделі в цілому краще не засвідчувати дані. Ця стаття пояснює, як виконується скидання, як виконуються розрахунки, а її вплив на працездатність нейромереж.

Розуміння зміни Dropout

При скиданнях використовуються випадково, що забезпечують пропорцію нейронних виходів до нуля під час кожного тренування. Це запобігає неврозам, що стають надмірно надійними на специфічних рисах і стимулює мережу для розробки більш міцних представленнях. Нормалізація курсу визначає частку нейронів, деактивованих.

Розрахунок, що милосердя в Dropout

Під час тренувань кожен нейрон зберігався з ймовірністю p]. Вихід нейрона i] після вискидання обчислюється як:

i]i]i] * xi]

ri] - це випадкова змінна з ймовірністю Берноуллі p] of being 1 (затриманий) і 0 (закріплений). Під час інферації ваги ваги вагові p для обліку при тренуванні.

Вплив на узагальнення неординарної мережі

Впровадження скидання покращує здатність моделі узагальнення шляхом зменшення перенарядки. Вона змушує мережу вивчати надмірні представництва, що робить її більш стійким до шуму і варіацій в даних. В результаті моделі з випаданням зазвичай виконують краще на перевірку і тестових даних.

  • Зменшує стійкість до специфічних нейронів
  • Учням міцної функції
  • Знежирення на одязі
  • Покращує точність тесту