현재 large deep neural network의 핵심은 Representation Learning이다.
DNN이나 CNN 모두 최종 task의 유형에 따라 ‘new representation’에 해당하는 new feature(=input feature)를 출력하게 된다.이러한 ‘new representation’을 뽑게 학습하는 것을 representation learning이라고 부른다.
왼쪽은 DNN을 통해 얻은 entangled space이다. DNN으로는 linear classifier로 구분하기 힘들다.
오른쪽은 CNN을 통해 얻은 disentangled space이다. CNN으로 4가지 클라스 모두 linear classifier로 분류할 수 있게 되었다.
즉, CNN은 이미지를 linear classifier로 잘 분류할 수 있도록 (hidden) feature vector를 잘 representation 해주는 것이다.
결국 딥러닝 모델 성능은 “특정 task에 해당하는 최종 feature들을 얼마나 잘 representation 해주느냐”에 따라 달려있다.Representation에 영향을 미치는 세 가지 요소
