Функції активації є важливими компонентами нейромереж. Вони визначають, чи повинен бути активований нейрон, або не, впливаючи на здатність мережі вчитися складних шаблонів. Розуміння роботи цих функцій і як їх комп’ютерно зрозуміли, що це фундаментальне в нейромережі.

Які функції активації?

Активація функцій впроваджує нелінійність в мережу. Без них нейромережа буде поводитися як лінійна модель, обмежуючи її потенціал для вирішення складних задач. Вони трансформують сигнали введення в вихідні сигнали, які можуть бути передані до наступних шарів.

Загальні функції активації

  • Сигмойд: Вихідні значення між 0 і 1, корисним для оцінки ймовірності.
  • ReLU: Виводить вхід безпосередньо, якщо позитив; інакше, нульовий. Це обчислювально ефективний і допомагає пом'якшити градієнтовні градієнти.
  • Tanh:] Вихідні значення між -1 і 1, центровані навколо нуля, які можуть покращити динаміку тренувань.

Функції активації

Кожна функція активації має математичну формулу, яка використовується для обчислення її виходу з введення. Наприклад:




f(x) = 1 / (1 + e[]-x]]

ReLU:
f(x) = макс(0, x)

кс] - e]
]] f(x) = (e кс] - e]]]]-x]]]]) / (e кс[ + e-x])