📌 Denoising Score Matching의 핵심 아이디어

1. 원래 목표:s(x)=∇xlogp(x)

   s(x)=∇xlog⁡p(x)s(x) = \nabla_x \log p(x)

   이 스코어 함수(진짜 분포의 기울기)를 알고 싶다 → 그런데 모르니까 직접 GT로 못 씀.

1. 해결책:

• 우리가 데이터를 일부러 오염시킨다 →x~=x+σz,z∼N(0,I)

  x~=x+σz,z∼N(0,I)\tilde{x} = x + \sigma z, \quad z \sim \mathcal{N}(0, I)

  여기서 zzz는 우리가 직접 샘플링한 노이즈라서 정확히 어떤 방향으로 집어넣었는지 “정답”을 알고 있음.

1. 학습 목표:

• 네트워크 sθ(x~)s_\theta(\tilde{x})sθ(x~)가

  “x~\tilde{x}x~에서 원래 데이터 xxx 쪽으로 이동하는 벡터”를 추정하도록 만듦.

• 즉, 노이즈 제거 방향을 예측하게 함.

• 이때 실제 정답은 우리가 아는 값:σ21(x−x~)

  1σ2(x−x~)\frac{1}{\sigma^2}(x - \tilde{x})

  → 왜냐하면 x~−x\tilde{x} - xx~−x가 우리가 추가한 노이즈니까!

1. 결과:

• 학습이 잘 되면 sθ(x~)≈∇xlog⁡p(x)s_\theta(\tilde{x}) \approx \nabla_x \log p(x)sθ(x~)≈∇xlogp(x) 가 성립.
• 즉, 노이즈 제거 네트워크 = 스코어 함수 근사기.

✅ 직관적으로 요약

• 원래 스코어 함수는 GT로 못 씀.
• 그래서 데이터를 “일부러 망가뜨리고”,