AI 심화 모델링 학습 가이드: Diffusion 모델

과목: 생성 모델 (Generative Models)

주요 학습 토픽:

• Diffusion 모델의 기본 원리 (DDPM)
• 샘플링 기법 및 속도 개선 (DDIM, Consistency Models)
• 조건부 생성 및 제어 (Classifier-Free Guidance)
• Latent Diffusion 및 주요 응용

요약:

본 학습 가이드는 완전한 노이즈(noise)로부터 점진적으로 노이즈를 제거하여 고품질의 이미지나 데이터를 생성하는 Diffusion 모델의 핵심 원리를 다룹니다. 기본적인 DDPM(Denoising Diffusion Probabilistic Models)부터 샘플링 속도를 획기적으로 개선한 DDIM, 그리고 Stable Diffusion의 기반이 된 Latent Diffusion Model(LDM)에 이르기까지의 발전 과정을 학습합니다. 또한, 텍스트 프롬프트 등으로 생성을 제어하는 기법과 주요 응용 분야를 이해합니다.

주요 개념:

• Forward & Reverse Process:
• Forward Process (순방향): 원본 이미지에 점진적으로 가우시안 노이즈를 추가하여 완전한 노이즈로 만드는 과정입니다. 이 과정은 수학적으로 정해져 있습니다.
• Reverse Process (역방향): 노이즈 상태에서 시작하여, 각 단계마다 추가되었던 노이즈를 예측하고 제거함으로써 원본 이미지를 복원하는 과정입니다. 딥러닝 모델(주로 U-Net)은 바로 이 노이즈를 예측하도록 학습됩니다.
• DDIM (Denoising Diffusion Implicit Models):
• 설명: DDPM의 샘플링 과정은 수많은 단계(e.g., 1000 스텝)를 거쳐야 해서 매우 느립니다. DDIM은 역방향 과정을 확률적(stochastic)이 아닌 결정론적(deterministic)으로 재구성하여, 여러 단계를 건너뛰어 샘플링하는 것을 가능하게 합니다. 이로 인해 훨씬 적은 스텝(e.g., 50 스텝)으로도 고품질 이미지를 생성할 수 있어 속도를 크게 향상시킵니다.
• Classifier-Free Guidance:
• 설명: 텍스트와 같은 조건(condition)에 맞는 이미지를 더 잘 생성하기 위한 기법입니다. 별도의 분류기 모델 없이, 학습 시 일정 확률로 조건을 제거하고 학습합니다. 샘플링 시에는 조건부 예측 결과와 비조건부 예측 결과를 모두 계산하고, 두 예측의 차이를 증폭시키는 방향으로 노이즈를 예측합니다. 이를 통해 생성 결과가 주어진 조건을 더 강하게 따르도록 유도합니다.