📌 Diffusion 모델의 변천사

1. 초기 아이디어: 확산 기반 생성 (2015~2020)

(1) DDPM (Denoising Diffusion Probabilistic Models, Ho et al., 2020)

• 배경: GAN은 mode collapse, VAE는 blurry image 문제. 새로운 생성 패러다임 필요.
• 아이디어: 데이터를 점점 노이즈로 변형(Forward process) → 거꾸로 노이즈를 제거하며 원본 복원(Reverse process).
• 장점: 생성 과정이 안정적, 모드 붕괴(GAN 문제) 없음.
• 단점: 샘플링 속도 매우 느림 (수천 스텝 필요).

(2) Score-based Generative Models (SGM, Song & Ermon, 2021)

• 데이터 분포의 **score function(∇ log p(x))**를 학습해 역확산.
• 장점: 이론적으로 강력한 토대 제공.
• 단점: 구현 복잡, 대규모 학습 부담.

2. 속도/효율 개선 (2021)

(1) DDIM (Denoising Diffusion Implicit Models, Song et al., 2021)

• 제안 이유: DDPM은 확률적 Markov 과정 → 불필요하게 많은 샘플링 스텝.
• 작동 방식: 확률적 과정 대신 deterministic ODE 기반 경로 사용.
• 장점:
  • 50~100 스텝 수준으로 샘플링 단축. (수천 → 수십)
  • 생성 다양성/품질 trade-off 조절 가능.
  • 속도 개선, 생성 품질 유지.