활성화 기능은 신경 네트워크의 필수 요소입니다. 그들은 입력을 기반으로 신경의 출력을 결정하고 복잡한 패턴을 배우는 네트워크를 가능하게합니다. 이 문서는 활성화 기능 단계별을 계산하는 방법을 설명합니다.

인증 기능 이해

활성화 기능은 연속 레이어에 의해 사용될 수있는 출력으로 입력 신호를 변환합니다. 일반적인 기능은 sigmoid, tanh 및 ReLU를 포함합니다. 각각은 학습 과정에 영향을 미치는 독특한 속성이 있습니다.

Sigmoid 기능 계산

sigmoid 함수는 f(x) = 1 / (1 + e-x])]로 정의됩니다. 그것을 계산하기 위해:

  • x의 값을 입력합니다.
  • -x의 exponential을 계산합니다.
  • 1을 이 exponential에 추가하십시오.
  • 출력을 얻기 위해 결과에 의해 1을 곱합니다.

ReLU 기능 계산

Rectified 선형 단위 (ReLU)는 간단합니다: f(x) = 최대 (0, x). 계산하기:

  • x의 값을 입력합니다.
  • x가 0보다 크면, 출력 x가 더 커집니다.
  • x가 0과 같거나 같으면 0을 출력합니다.

Tanh 기능 계산

곱창한 함수는 f(x) = (e]x]] - e]]-x]) / (e]x]] + e]-x)):

  • ex과 e]]-x를 계산합니다.
  • -x] 를 e]x로 뺍니다.
  • ex 와 e]-x를 추가합니다.
  • 출력을 얻기 위해 정상의 차이를 나눕니다.