Squeeze-and-Excitation NetworksJie Hu, Li Shen, Samuel Albanie, Gang Sun, Enhua Wu Opinion개인적으로, 아이디어에 굉장히 놀랐던 논문이다. NLP에서 사용되던 Attention Mechanism을 가져와 CNN에 응용하였고 이를 통해 엄청난 성능 향상을 이루었다. Domain Knowledge의 중요성을 한번 더 실감하게 된 논문이였다.Contribution논문 제목에서 알 수 있듯이 Squeeze, Excitation 두 개의 핵심적인 과정으로 구성된다. 이전 CNN의 구조를 보면 Channel의 Global Feature을 고려하지 못하고 있다는 한계점이 있었다. 이런 Global Feature를 고려하기 위하여 Squeeze 하고..

Deep Residual Learning for Image RecognitionKaiming He, Xiangyu Zhang, Shaoqing Ren, Jian SunOpinion딥러닝의 성능 향상을 위하여 계속적으로 이루어진 노력들이 바로 Deep Network 이다. 그렇지만, 이런 Deep Network 에서의 문제점을 ResNet에서 연구하게 되었고 Residual Network라는 기법을 남기게 된다.Residual Network는 현재까지도 많은 네트워크에서 사용하는 구조이다.ContributionResNet의 기여를 크게 두 가지로 나누어보려고 한다. 첫 번째는 Deep Neural Network 를 구성하는데 있어서 단순히 깊이를 깊게한다고 성능이 좋아지지 않는다 라는 것을 밝혀낸 점. 두..

Very Deep Convolutional Networks For Large-Scale Image RecognitionKaren Simonyan, Andrew ZissermanOpinionAlexNet은 최초로 SVM 기반의 classifier를 이겼다는 점에서 시사하는 바가 컸고, Drop Out, ReLU 2가지의 핵심적인 기법을 소개했는데, VGGNet 이후로는 점점 더 deep network architecture를 만드는 데 초점을 두고 연구가 진행된다.Main Focus : Deep Network! Less Parameters !ContributionDeep Nerual Network를 설계하는데에 있어, Kernel Size의 중요성을 설명해주는 좋은 Architecture 이다.AlexNe..

GoogLeNetChristian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich ContiributionILSVRC 14의 Classification, Detection 에서 1등을 차지한 GoogLeNet에 관한 Paper 이다.1. Inception Module 딥러닝 네트워크의 효율적인 설계를 위해서는 sparse한 Layer와 dense한 matrix를 만들어야 하는데, 이 두가지는 trade-off 관계이다.이런 trade-off 문제를 해결하기 위하여 Inception Module 이라는 개념을 도입했다.아..

2019-02-07 BLOG RENEWAL. github pages: github.com/ChoSungMan

구글클라우드에 VM 인스턴스를 생성한 후 , 다양한 환경들을 설치하면서 고생을 많이했는데 고생하면서 삽질했던 명령어를 몇개 적어놓으려한다. 계속추가할 예정. [gCloud]gcloud compute scp [local에서의 경로] [인스턴스이름]:[서버에서의 경로] [Terminal] cp -r [원본경로] [목적경로] [vi editor] i : 입력모드로 전환w : 단어단위로 뒤로이동e : 단어단위로 앞으로이동G : 맨끝 줄로 이동gg : 해당 줄 삭제dd : 해당 줄 잘라내기yy : 해당 줄 복사w [파일명] : 입력한 파일명으로 파일 저장 q : vi 종료q! : vi 강제종료wq : 저장 후 종료wq! : 강제 저장 후 종료 [Git]git initgit add . : 변경된 내용 자동으로 St..