Backpropagation є фундаментальним алгоритмом, який використовується для навчання глибоких нейромереж. Він передбачає розрахунок градієнтів функції втрати відносно кожної ваги в мережі, що дозволяє ваговим оновленням, які мінімізуючі помилки. Ця стаття забезпечує покроковий огляд процесу запобіжності, фокусування на розрахунку, залучених до навчання глибокої мережі.

Передача

Процес починається з переадресного проходу, де вхідні дані пропагуються через мережу. Кожен нейрон відповідає заважену суму його вводів, додає пронос, і застосовує функцію активації. Вихід кожного шару служить входом для наступного шару, поки остаточне прогнозування буде отримано.

Розрахунок втрат

Після того, як мережа виробляє вихід, функція втрати застережує різницю між передбачуваним вихідом і істинним етикеткою. Загальні функції втрати включають в себе Mean Squared помилки і Cross-Entropy. Мета полягає в тому, щоб мінімізувати цю втрату через коригування ваги.

Повернутися до переїзду: Градієнтна компетентність

Ядро спливаючих засобів передбачає обчислення градієнтів втрати відносно кожної ваги. Починаючи від вихідного шару, термін помилки обчислюється і пропагується назад через мережу. Це передбачає застосування правила ланцюжка для компute похідних на кожному шарі.

Для кожного нейрона, термін помилки визначається шляхом розмноження похідної функції активації з вазіюваною сумою помилок з наступного шару. Ці умови помилок використовуються для обчислення градієнтів для кожної ваги і зносу.

Втрата ваги

Використання комп’ютерних градієнтів, ваги оновлюються, як правило, через градієнтний спуск. Правило оновлення відзначає частку градієнта від поточної ваги, керованої швидкістю навчання. Цей процес зменшує втрату зайвих ітерацій.

Резюме ключових кроків

  • Виконувати переадресацію для складання прогнозів.
  • Розрахунок втрати між прогнозами та мітками.
  • Зробіть похибки, починаючи від вихідного шару назад.
  • Розрахунок градієнтів для кожної ваги і зносу.
  • Оновлення ваги за допомогою градієнтного спуску.