Encoder에서는 Manifold 가정을 통해 Input data의 고차원 데이터는 희박한 밀도를 가지고 있으므로 저차원의 데이터로 만들어서 원래의 데이터를 잘 설명하는 Manifold를 찾는 것이 목적이다.
Decoder에서는 Latent Variable을 원래의 data로 만들어주게 되면 맞는지 안 맞는지를 input data를 label로 사용할 수 있으므로 지도학습이 가능해진다. loss는 input과 output의 차이이다. AE의 학습은 output을 input으로 복원하는 작업이라고 생각하면 된다.
Manifold assumption
뜻: training DB의 데이터를 공간상에 나타냈을 때, DB의 데이터를 잘 아우르는 subspace가 존재할 것이다
매니폴드(manifold): 고차원의 데이터를 공간에 뿌릴 때 샘플들을 잘 아우를 수 있는 subspace를 의미한다.
임베딩(Embedding): 높은 차원에서 낮은 차원으로 변환하는 것
매니폴드 학습(manifold learning)을 하게 되면, 고차원의 데이터를 잘 표현할 수 있는 manifold의 특성을 알게 되고, 이를 통해 샘플 데이터의 특징을 파악할 수 있고, 차원을 축소해 볼 수 있다. 잘 찾은 매니폴드에서 projection시키면 데이터의 차원이 축소될 수 있다.
매니폴드 학습(Manifold Learning)의 4가지 목적
1.
데이터 압축 (Data Compression)
2.
데이터 시각화 (Data Visualization)
3.
차원의 저주 피하기 (Curse of dimensionality)
4.
유용한 feature 추출하기
