VAE와 ELBO 최소 정리

VAE의 학습 목표(ELBO)는 두 항으로 쪼개진다.

1. 재구성 항 — 인코딩했다 디코딩한 결과가 원본과 가깝게.
2. KL 항 — 인코더가 만드는 잠재분포가 사전분포(표준정규)에서 멀어지지 않게.

• 재구성만 강하면: 잠재공간이 제멋대로 → 샘플링 품질 나쁨.
• KL만 강하면: posterior collapse — 잠재변수를 안 쓰는 모델이 된다.

beta-VAE는 이 두 항의 비율을 노브로 만든 것. latent diffusion의 VAE도 KL 가중치를 아주 작게 둔 변형이다.