Mise en œuvre de la régularisation des abandons scolaires : calculs et effets sur la généralisation du réseau neuronal

La régularisation des abandons est une technique utilisée dans les réseaux neuraux pour éviter les surajustements. Elle consiste à désactiver au hasard un sous-ensemble de neurones pendant l'entraînement, ce qui aide le modèle à généraliser les données invisibles. Cet article explique comment l'abandon est mis en œuvre, comment les calculs sont effectués et son impact sur les performances du réseau neural.

Comprendre la régularisation des abandons scolaires

Le décrochage fonctionne en fixant au hasard une proportion de sorties neuronales à zéro lors de chaque itération de formation, ce qui empêche les neurones de dépendre trop de certaines caractéristiques et encourage le réseau à développer des représentations plus robustes. Le taux d'abandon détermine la fraction des neurones désactivés.

Calculs liés au décrochage

Pendant l'entraînement, chaque neurone est conservé avec probabilité p. La sortie d'un neurone i après l'abandon est calculée comme suit:

yi = r[i * xi

où ri est une variable aléatoire de Bernoulli avec probabilité p d'être 1 (retenu) et 0 (agrippé). Au cours de l'inférence, les poids sont étalonnés par p pour tenir compte de l'abandon scolaire.

Effet sur la généralisation du réseau neuronal

La mise en œuvre de l'abandon améliore la capacité du modèle à généraliser en réduisant le surajustement. Elle oblige le réseau à apprendre les représentations redondantes, le rendant plus résistant au bruit et aux variations des données.