Variational Inference는 구하기 힘든 확률밀도함수 p(z|x)를 더 단순한 함수 q(z)로 근사하여 그것을 대신 추정하는 방법이다. (q(z)가 업데이트됨) [p는 복잡한 분포, q는 가우시안 분포]
(이때 KL-divergence가 쓰인다)
Maximum Likelihood: x가 θ의 parameter를 가지는 distribution을 따르려면 이 likelihood가 최대가 되는 distribution을 찾아야 할 것이다. 이 로그 식이 최대가 되도록 θ를 학습시키는 것이다.
1) Jensen 이용한 방법
2) Jensen 안쓴 방법
Amortized VAE
VAE의 또 다른 문제점: Posterior Collapse
q(z|x) 가 p(z)에 한없이 가까워지는 문제 → 즉 x의 정보를 제대로 담지 못하여 Encoding이 의미 없어짐
이를 해결한 두가지 모델
1.
SA-VAE (Semi-Amortized VAE)
ϕ뿐만 아니라 μ랑 Σ도 학습한다
2.
Lagging Inference
ϕ를 k번 여러번 학습