1️⃣ Generative Models

1. Implicit Density
   1. Learning by Comparison
      • Generative Adversarial Nets
2. Explicit Density
   1. Exact Density Modeling
      • NN로 상정하고 NN가 density 그 자체를 배울 수 있게 학습하는 방법도 있음
      • Probabilistic modeling에 focus 되어 있는 방법론
        • Autoregressive Model
        • Normalizing Flow
          • marginal 계산 어려움 → density modeling 정확하게 할 수 없음
        • Probabilistic Circuit (최근)
          • evidence 계산 가능 → density modeling 정확하게 할 수 있음
   2. Unnormalized Density → Latent Modeling에 초점
      • Energy Based Methods
      • Score Matching
   3. Approximate Density → Latent Modeling에 초점
      • density를 approximation하는 technique
        • Variatinal Auto-Encoder
          • exact density를 알기 어렵기 때문에 approximate할 수 있는 variational family를 통해 가장 적절한 posterior를 찾고 그 posterior를 통해 Generator 학습
        • Diffusion Models

• 어떤 latent modeling을 통해 multi-modal data를 가지고 생성하고 싶다!

2️⃣ Denoising Diffusion Models

• Goal of Generative Models

  • Noise space(Latent space) → Data space로 보낼 수 있는 함수를 찾고 싶은 것
    • $G_\theta(z)$: Generative Model
      • $G_\theta$를 어떻게 학습시킬까?
        • VAE: 이미지를 latent space 어디론가에 보내서 compression, 다시 reconstruction (w/ discrete)

• Idea: Denoising AutoEncoder (DAE)

  • Encoder가 데이터에서 robust feature를 추출하길 원함!
    • 주어진 이미지로부터 robust하게 feature를 추출하는 것을 학습
    • noise가 있긴 하지만 고양이라고 식별할 수 있는 feature가 잔존
      • noise가 있어도 어떤 물체라고 인식할 만한 강한 signal = robust feature
  • Generative Model은 아니지만 이 방식을 통해 어떤 feature들은 fragil하고 어떤 feature들은 robust한지 나눌 수 있음 → 이게 중요한 이유: 앞으로 학습시킬 G model은 노이즈가 낀 모델로부터 디노이징하는 디코더를 학습했다면 모든 피처를 만드는 것이 아니라 이 정도 피처 정도를 만들 수 있는 G 모델을 학습시키고자 함
    • 피처들이 하나의 계층으로 이루어져 있는 것이 아닌 여러 계층의 피처들로 이루어져 있는 것
      • Feature 분류
        1. Global
        2. Local
  • 이제 우리가 할 것: 노이즈가 낀 애를 만드는 것

• Idea: Training Generative Model via Denoising (origin: 1970년대 통계물리학자…)

  • 단계별로 feature hierarchy를 나눠서 feature들을 생성해내는

  • 단계별로는 denoising AE처럼 보이지만 hierarchy에 따라 노이즈 제거→ 로컬 추출 → 노이즈 아예 제거 …

  • 이 모델들을 다 이어주면 됨!

    • ‘이어주면’의 의미

  • 이 Generative Model:

    • deterministic인 것 같지만.. $\epsilon_t$가 있어서 stochastic !!
      • 실제 이미지 생성 태스크에서는 중간에 노이즈를 살짝씩 추가해줘야 함
        • noise 더해주는 이유
          • 쉬운 설명
          • 어려운 설명
    • 그래서 디퓨전 모델 해보면 생성할 때마다 사진이 달라짐

  • 그러나!!!!!!! 구현이 안됨

    아이디어 좋다 ≠ 구현이 된다

    • 문제: $\epsilon_t$를 어떤 정도 얼마나 더해줘야 할지에 대해 정보가 없었음.. 이론적으로는 잘 되어야 하는데 $G_\theta$가 학습을 잘 못했음
    • 2가지가 중요함
      1. $\epsilon_t$를
      2. $G_\theta$ 구조를 어떻게 설계하느냐

• DDPM: Denoising Diffusion Probabilistic Model

  실제로 성공한 첫 논문 (NeurIPS 2020)

  • Diffusion의 의미: ‘확산’ (일반적으로 기체, 분자, 온도 등)

  • 열 방정식; heat equation (= diffusion equation) 원리 사용

    주변 지점의 밀도에 따라 현재 지점의 밀도가 어떻게 변화하는지 나타내는 방정식

    • 열 뿐만 아니라 기체 분자, 화학 혼합물의 확산 등 많은 곳에서 쓰임

    

    • P = p(t, x): density
    • t: 시간
    • x: 공간

    

    (그 지점에서의 주변에 밀도함수의 주변 지점에서의 온도의 분포에 영향을 받음 이게 대체 무슨 말이냐! 주변 애들보다 높은 지점에 있으면 낮아지고 주변 애들보다 낮은 지점에 있으면 높아짐)

    • 푸는 방법
      1. Fourier transform
         • cf. MGF
         • P라는 density에 fourier/mgf했더니 normal의 fourier가 나옴 → P는 원래 정규분포!
           • 열, 기체, 분자의 움직임을 나타내는 분포: 정규분포…. 허거덩;;
           • Diffusion 현상의 밀도함수: 정규분포!! (아인슈타인)

  • Denoising AutoEncoder

    • idea

      

    • algorithm

      

      

      • noising process가 gaussian이면 denoising process도 gaussian

    • training

      

      

  • 참고 🔗

  • main point: t시점에서의 정보가 주어졌을 때 다음시점으로 보내주기 위해서는 z만 보내주는 것이 아니라 x의 정보도 일부 reconstruction 할 수 있어야 함

• Learning Objective of Diffusion Model