CostFunction : Cross-Entropy & Log Likelihood

CostFunction : Cross-Entropy & Log Likelihood

딥러닝에서 Cross-Entropy를 Loss Function으로 사용하는 이유와 Softmax-Log Likelihood의 궁합이 왜 잘맞는지에 대한 고찰을 해보려 한다.

Loss-function으로 MSE를 사용했을 경우에 학습이 더디게 이루어지는 경우가 발생하기 때문에 딥러닝에서는 주로 Cross-Entropy를 사용한다.

Activation Function을 Softmax로  사용하는 경우 Loss-function을 MSE, Cross-Entropy를 사용할 수 있지만 Log Likelihood로 사용할 수도 있다. Log Likelihood의 경우 전체의 노드 값을 살펴보는 MSE나 Cross-Entropy와 다르게 하나의 노드 값만 본다. 그렇기 때문에 입력값 하나를 받아와서 출력 값 하나를 내보내는 Softmax함수와 죽이 잘맞는다.

Log Likelihood 수식.

 

Softmax를지나 출력된 결과 log 함수에 mapping하는 형태로 이해하면 좋을 것 같다.