백프로그레이션은 심 신경망을 훈련하기 위해 사용되는 기본 알고리즘입니다. 네트워크의 각 무게에 대한 손실 기능의 계산 그리스를 포함하며 오류를 최소화하는 체중 업데이트가 허용됩니다. 이 문서는 깊은 네트워크 훈련에 관련된 계산에 초점을 맞춘 백프로그레이션 프로세스의 단계별 개요를 제공합니다.

앞으로 통행

이 과정은 전달 패스로 시작되며 입력 데이터가 네트워크에 의해 전파됩니다. 각 신경은 입력의 무게가 큰 금액을 계산하고, 바이스를 추가하고 활성화 기능을 적용합니다. 각 층의 출력은 최종 예측이 얻을 때까지 다음 층의 입력으로 제공됩니다.

손실 계산

네트워크가 출력을 생산하면 손실 기능은 예측된 출력과 진정한 라벨 사이의 차이를 측정합니다. 일반적인 손실 기능은 평균 심층 오류 및 크로스 엔트로피가 포함되어 있습니다. 목표는 체중 조정을 통해이 손실을 최소화하는 것입니다.

뒤로 통행: 기온변화도

백프로그레이션의 핵심은 각 무게에 대한 손실의 유관을 계산합니다. 출력 레이어에서 시작하면 오류 용어는 네트워크를 통해 계산되고 전파됩니다. 이것은 각 층에서 파생물을 계산하는 체인 규칙을 적용합니다.

각 신경을 위해, 과실 기간은 연속적인 층에서 과실의 무게를 꿴 합계를 가진 활성화 기능의 유래물을 곱해서 결정됩니다. 이 과실 기간은 그 때 각 무게 및 bias를 위한 윤활제를 compute하기 위하여 이용됩니다.

공급 능력

계산 된 그리스어를 사용하여 무게는 일반적으로 기온이 나고 있습니다. 업데이트 규칙은 현재 체중에서 기온이 나고 학습 속도에 의해 제어됩니다. 이 과정은 성공적 침략에 대한 손실을 감소시킵니다.

핵심 단계의 개요

  • 예측을 위한 앞으로의 패스를 수행합니다.
  • 예측과 진정한 라벨 사이의 손실을 계산합니다.
  • 출력층에서 시작되는 Compute 오류 조건.
  • 각 중량과 비스듬한 그라디언트를 계산합니다.
  • gradient descent를 사용하여 무게를 업데이트하십시오.