Функції активації є важливими компонентами нейромереж. Вони визначають вихід нейрона на основі його введення, що дозволяє мережі вчитися складних шаблонів. Ця стаття пояснює, як розрахувати функції активації крок за кроком.

Розуміння функцій активації

Активація функції трансформує вхідні сигнали на виходи, які можуть використовуватися за наступними шарами. Загальні функції включають сигмоїд, тан, і Релу. Кожен має унікальні властивості, які впливають на процес навчання.

Розрахунок функції Sigmoid

Функція сильмоїдної функції визначається як f(x) = 1 / (1 + e]-x]])]. Для розрахунку його:

  • Введення значення к.с.
  • Розрахунок доцільності -x.
  • Додати 1 до цього параметра.
  • Розділіть 1 за допомогою результату, щоб отримати вихід.

Розрахунок функції РеLU

Ректифікований лайнарний блок (ReLU) простий: f(x) = макс(0, x)]]. Для складання:

  • Введення значення к.с.
  • Якщо x більше 0, вихід x.
  • Якщо x менше або дорівнює 0, вихід 0.

Розрахунок функції засмаги

Функція гіперболічного тангенсу f(x) = (ex] - e-x]]) / (e]x + e-x])]. Для складання:

  • РџРμлалалалаРNoталалалаРNoталаРNoтаРNoталаРNoталаРNoталлаРNoталаРNoталаРNoтаРNoталалаРNoталалаРNoтллРNoСЊРNoСЊРNoСЊР»РNoСЊРNoСЊРNoСЊРNoС‚РNoСЊРNoСЊС‚РNoСЊРNoС‚РNoСЊРNoСЊРNoС‚РNoСЊРNoСЊРNoСЊС‚РNoСЊСЊС‚РNoСЊРNoСЊРNoСЊРNoСЊРNoСЊРNoС‚РNo
  • кс
  • кс и e[ кс].
  • Розведіть різницю за сумою, щоб отримати вихід.