활성화 기능은 신경 네트워크의 필수 구성 요소입니다. 그들은 신경이 활성화되거나 활성화되지 않은지 결정합니다. 네트워크의 복잡한 패턴을 배우는 능력에 영향을 미칩니다. 이러한 기능을 수행하는 방법을 이해하고 신경 네트워크 설계에 근본적인 방법.

활성화 기능은 무엇입니까?

활성화 기능은 네트워크에 비선형성을 도입합니다. 그 외에, 신경 네트워크는 선형 모델과 같은 행동하고 복잡한 문제를 해결하기 위해 용량을 제한합니다. 그들은 입력 신호를 연속 레이어로 전달할 수 있는 출력 신호로 변환합니다.

일반적인 활성화 기능

  • Sigmoid:는 0과 1 사이의 값을 출력하며 확률의 추정에 유용합니다.
  • ReLU:은 긍정적이라면 입력을 직접 출력한다. 그렇지 않으면, 0. 그것은 적절하게 효율적이고 멸균성 윤활제를 완화하는 데 도움이된다.
  • Tanh: -1과 1 사이의 출력 값, 0을 중심으로, 교육 동적을 향상시킬 수 있습니다.

Computing 활성화 기능

각 활성화 기능은 입력에서 출력을 계산하는 수학 공식이 있습니다. 예를 들어:

Sigmoid:
f(x) = 1 / (1 + e]-x)

ReLU:
f(x) = 최대(0, x)

타크:
f(x) = (e]x] - e]-x]]) / (e]x + e-x]]