Modèles basés sur l'énergie dans les réseaux neuraux : théorie, calculs et cas d'utilisation réelle

Les modèles basés sur l'énergie (EBM) sont une classe de modèles de réseaux neuraux qui définissent une fonction énergétique pour représenter la compatibilité entre les entrées et les sorties.Ces modèles sont utilisés dans diverses tâches d'apprentissage automatique, y compris la modélisation générative et l'apprentissage non supervisé.

Concepts fondamentaux des modèles basés sur l'énergie

Les EBM attribuent une valeur énergétique scalaire à chaque configuration de variables d'entrée et de sortie. L'objectif est d'apprendre une fonction énergétique où les configurations correctes ou souhaitables ont une faible énergie, tandis que les configurations incorrectes ont une énergie élevée.

Calculs mathématiques dans les EBM

Le noyau d'un EBM est sa fonction énergétique, généralement désignée comme E(x, y), où x est l'entrée et y est la sortie. Pendant la formation, le modèle ajuste les paramètres pour minimiser l'énergie des configurations correctes et maximiser celle-ci pour les configurations incorrectes. La fonction de perte implique souvent des divergences contrastées ou d'autres méthodes d'approximation pour estimer efficacement les gradients.

Les calculs consistent à calculer le gradient de la fonction énergétique par rapport aux paramètres du modèle, qui guide le processus d'optimisation. Les méthodes d'échantillonnage comme Markov Chain Monte Carlo (MCMC) sont utilisées pour approximer la distribution sur les configurations pendant l'entraînement.

Cas d'utilisation réelle dans le monde des MBE

Les modèles basés sur l'énergie sont appliqués dans divers domaines, notamment: