Регуляризация отсева: расчеты и влияние на обобщение нейронных сетей

Регуляризация отсева — это метод, используемый в нейронных сетях для предотвращения переобучения. Он включает случайную деактивацию подмножества нейронов во время обучения, что помогает модели лучше обобщать невидимые данные. В этой статье объясняется, как осуществляется отсев, как выполняются вычисления и его влияние на производительность нейронной сети.

Понимание регуляризации Dropout

Dropout работает, случайным образом устанавливая долю выходов нейронов до нуля во время каждой итерации тренировки. Это предотвращает чрезмерную зависимость нейронов от конкретных функций и побуждает сеть развивать более надежные представления. Скорость отсева определяет долю нейронов, деактивированных.

Расчеты, связанные с Dropout

Во время обучения каждый нейрон сохраняется с вероятностью p . Выход нейрона i после выбытия рассчитывается как:

yi = ri * xi

где ri — случайная величина Бернулли с вероятностью p, составляющая 1 (сохранён) и 0 (утоплена).Во время вывода весы масштабируются p для учета отсева во время обучения.

Влияние на обобщение нейронных сетей

Внедрение отсева улучшает способность модели обобщать, уменьшая переобучение. Это заставляет сеть изучать избыточные представления, делая ее более устойчивой к шуму и изменениям в данных. В результате модели с отсевом обычно лучше работают на наборах данных проверки и тестирования.