Supervised Learning의 손실 기능 계산: Mse에서 크로스 엔트로피

손실 기능은 예측된 출력과 실제 라벨의 차이를 측정하는 것과 같이 감독된 학습에 필수적입니다. 이 기능은 최적화된 메트릭을 제공하는 교육 과정을 안내합니다. 다른 손실 기능은 문제 및 데이터 특성의 유형에 따라 사용됩니다.

평균 사각형 오류 (MSE)

평균 사각형 오류는 회귀 작업에 일반적으로 사용됩니다. 예측 및 실제 값 사이의 차이의 사각형의 평균을 계산합니다. 공식은 다음과 같습니다.

MSE = (1/n) Σ (y_i]] - ע_]i])2]]]

y_i는 true 값, 1⁄4_]i]는 예측된 값이며 n은 샘플의 수입니다. MSE는 더 큰 오류를 더 크게 흔하게 섞어 모델이 크게 저하를 최소화합니다.

Cross-entropy 손실은 분류 작업을 위해 주로 사용됩니다. 예측 가능한 확률 분포와 진정한 배포 사이의 불쾌함을 측정합니다. 이진 분류의 경우 공식은 다음과 같습니다.

Cross-Entropy = - [ y log(ע) + (1 - y) 로그(1 - ע) ]

y는 true label (0 또는 1)이며, δ는 긍정적인 클래스의 예측 가능한 확률입니다. 이 손실 함수는 모델이 confident 하지만 잘못되었을 때 잘못된 예측을 더 크게 예측합니다.

MSE는 연속 출력 변수에 적합하며, 크로스 엔트로피는 categorical 데이터에 이상적입니다. 적절한 손실 기능을 선택하면 출력의 문제 유형과 성격에 따라 다릅니다.