Modelli basati sull'energia in reti neurali: Teoria, Calcoli e casi di utilizzo del mondo reale

I modelli basati sull'energia (EBM) sono una classe di modelli di rete neurali che definiscono una funzione energetica per rappresentare la compatibilità tra input e output. Questi modelli sono utilizzati in vari compiti di apprendimento automatico, tra cui la modellazione generativa e l'apprendimento non supervisionato.

Concetti fondamentali dei modelli basati sull'energia

Gli EBM assegnano un valore energetico scalare a ogni configurazione delle variabili di input e output. L'obiettivo è quello di imparare una funzione energetica in cui le configurazioni corrette o desiderabili hanno poca energia, mentre quelle errate hanno alta energia.

Calcoli matematici in EBM

Il nucleo di un EBM è la sua funzione energetica, tipicamente indicata come E(x, y), dove x è l'ingresso e y è l'uscita. Durante la formazione, il modello regola i parametri per minimizzare l'energia delle configurazioni corrette e massimizzarlo per quelli errati. La funzione di perdita spesso comporta divergenza contrattiva o altri metodi di approssimazione per stimare i gradienti in modo efficiente.

Le valutazioni comportano l'elaborazione del gradiente della funzione energetica rispetto ai parametri del modello, che guida il processo di ottimizzazione. I metodi di campionamento come Markov Chain Monte Carlo (MCMC) sono utilizzati per approssimare la distribuzione sulle configurazioni durante la formazione.

Casi di utilizzo reali di EBM

I modelli basati sull'energia sono applicati in vari domini, tra cui: