Градієнтний спуск - це алгоритм оптимізації, який використовується для мінімізації функції, що переходить в сторону найнижчої точки. Він широко використовується в машинному навчанні для оптимізації моделей, регулюючи параметри для зменшення помилки. Ця стаття пояснює покрокові розрахунки, залучені до застосування градієнтного спуску для задач машинного навчання.

Розуміння альгорітома градієнта

Основна ідея градієнтовного спуску полягає в оновленні параметрів моделі в напрямку негативного градієнта функції втрати. Цей процес продовжується до тих пір, поки параметри, що конвержуються до мінімальної точки, ідеально глобального мінімуму.

Процес розрахунку ступінчастих стипензій

На жаль, у нас є проста лінійна модель регресія з функцією втрати, наприклад, помилка площі Меан (MSE). Виконується наступні дії:

  • Первинізувати параметри (наприклад, ваги і зносу) з невеликими випадкових значеннями.
  • Розрахунок передбачуваного виходу за допомогою поточних параметрів.
  • Зробіть значення функції втрати на основі прогнозування та фактичних даних.
  • Розрахунок градієнта функції втрати відносно кожного параметра.
  • Оновлення кожного параметра шляхом визначення продукту курсу навчання та відповідного градієнта.

Цей процес повторює кількість ітерацій або доки зміни втрати стає недбалим.

Приклад розрахунку

Розглянемо одину точку даних з входом x = 2] і вихід y = 4]. Встановити вагу w = 0.5] і bias b = 0]. Використовуйте курс навчання 0.

Розрахункове прогнозування: ^ = wx + b = 0.5 * 2 + 0 = 1

error = ^ - y = 1 - 4 = -3

Розрахунок градієнтів:

Випадковий w.r.t. вага: Тельф/сплав = 2 * помилка * x = 2 * (-3) * 2 = -12

Випадковий w.r.t. bias: stringL/display = 2 * помилка = 2 * (-3) = -6]

Параметри оновлення:

w = 0.5 - 0.1 * (-12) = 0.5 + 1.2 = 1.7

b = 0 - 0.1 * (-6) = 0 + 0,6 = 0,6]