CostFunction : Cross-Entropy & Log Likelihood 딥러닝에서 Cross-Entropy를 Loss Function으로 사용하는 이유와 Softmax-Log Likelihood의 궁합이 왜 잘맞는지에 대한 고찰을 해보려 한다. Loss-function으로 MSE를 사용했을 경우에 학습이 더디게 이루어지는 경우가 발생하기 때문에 딥러닝에서는 주로 Cross-Entropy를 사용한다. Activation Function을 Softmax로 사용하는 경우 Loss-function을 MSE, Cross-Entropy를 사용할 수 있지만 Log Likelihood로 사용할 수도 있다. Log Likelihood의 경우 전체의 노드 값을 살펴보는 MSE나 Cross-Entropy와 다르게..

[cp 원본경로 대상경로] 의 명령어를 입력햇을 때, omitting directory 에러가 발생하면 [cp -r 원본경로 대상경로] 로 명령어를 입력하면 해결 가능하다.

나의 노트북에서도 딥러닝을 돌려보고 싶은 마음이 생겨서 구글 클라우드 플랫폼을 도전하고자 했던 삽질기를 적어보려 한다. 1) VM Instance 생성하기2) CUDA, cuDNN 설치하기 로 구성되어 있으며, macOS High Sierra 10.13.5 환경을 기준으로 작성하였다. VM Instance 생성하기 0) GPU 할당량 증가 요청 왼쪽 IAM 및 관리자 탭에서 할당량 탭에 들어간다. 상단의 할당량 수정 버튼을 눌러 할당량 수정에 들어가서, asia-east 지역의 NVIDIA K80 GPUS 의 할당량을 수정한다. 왼쪽 사각형을 클릭하면 우측에 이메일과 전화번호를 적는 칸이 나오는데 여기에 전화번호와 이메일을 적고 원하는 할당량을 정해주고 허용될때 까지 연락을 기다리면 된다. - 할당량 허..

CNN Structure - AlexNet 개인적으로 CNN의 이론적인 부분을 공부한 이후, Backbone Network를 공부하면서 많은 정리가 되었다고 생각한다. AlexNet은 ImageNet Competetion에서 SVM을 제치고 우수한 성능을 보여주어, 사람들이 CNN에 대하여 관심을 갖기 시작하게 만들어준 CNN의 조상님과 같은 Network다. AlexNet 논문을 리뷰하면서 개인적으로 정리를 해보려고 한다. [ Architecture ] 우선 AlexNet의 Architecture는 다음과 같다. 여기서 특이한 점 하나를 발견할 수 있는데, Network가 2갈래로 갈라져서 구성되어 있다는 점이다. 여기서 특별한 의미는 없고, 이 당시 GPU가 GTX580 이여서 메모리의 문제를 해결하..

딥러닝을 배우면서 익숙하게 들었던 Cross-Entropy라는 단어에 대하여 조금 더 자세히 공부해봐야 겠다고 마음만 먹고 공부를 미루고 있었는데 딥러닝 스터디에서 공부중이던 책에서 Information Theory가 등장하여 Entropy에 대하여 공부하게 되었다. Entropy라는 개념은 우선 정보의 불확실한 정도를 표현하는 개념이다.Shannon이 정보의 단위를 표현하기 위하여 고안해낸 개념인데, nats(나츠), bits(비트) 두가지의 단위가 있다. Entropy는 위에서 언급한 것 처럼 정보의 불확실한 정도를 표현하는 개념이기 때문에 정보가 불확실할 때 값이 커진다. 예시로, 윷놀이를 하는 경우와 주사위놀이를 하는 경우를 비교해보면 윷놀이의 경우는 주사위의 경우보다 도, 개, 걸, 윷, 모 5..