Моделі на основі енергії (EBMs) є класом моделей нейромереж, які визначають енергетичну функцію для представлення сумісності між входами та виходами. Ці моделі використовуються в різних задачах машинного навчання, включаючи генеативне моделювання та непідконтрольне навчання. У статті досліджуються фундаментальні концепції, математичні обчислення та практичні застосування EBMs в нейромережах.

Основи енергоефективних моделей

EBMs відзначає значення скалярної енергії до кожної конфігурації вхідної та вихідних змінних. Мета полягає в тому, щоб дізнатися енергетичну функцію, де правильні або бажані конфігурації мають низьку енергію, а некоректні - високі енергії. На відміну від традиційних імовірнісних моделей, EBMs не явно моделюють розподілу ймовірностей, але фокусуються на мінімізації енергії.

Математичні розрахунки в ЄББМ

Ядро EBM - це її енергетична функція, як правило, не занепаданий як E(x, y), де x є вхід і y є вихідним. Під час тренувань модель регулює параметри для мінімізації енергії правильних конфігурацій і максимізувати її для неправильних. Функція втрати часто включає контрастну дивергенцію або інші методи наближення, щоб оцінити стабільні дії.

Розрахунок передбачає обчислення градієнта енергетичної функції щодо параметрів моделі, що направляє процесом оптимізації. Методи відбору, такі як Markov Chain Monte Carlo (MCMC) використовуються для приблизного розподілу на конфігураціях під час тренувань.

Реальний світ Використання випадків EBMs

Енергоефективні моделі застосовуються в різних доменах, включаючи:

  • Image Generation: EBMs може генерувати реалістичні зображення шляхом відбору низькоенергетичних конфігурацій.
  • Аномалія Детекція: Високоенергетичні показники вказують на аномалії або передпокою в даних.
  • Реінсилментне навчання: EBMs допомагають моделі динаміки середовища та функції винагороди.
  • Використовується для задач, як мовне моделювання та сейманічне розуміння.