| Contents |
세미나 1. 생성모델을 확률확산방정식으로 통합적 이론으로 전개 하는데 중요한 전 단계로 NeurIPS 2019에 발표 된 논문 "Generative Modeling by Estimating Gradients of the Data Distribution"을 심층분석합니다. 다중적 레벨의 분산들을 갖는 가우시안 노이즈로 데이터를 perturbed하는 소위 "Noise Conditional Score Network(NCSN)" 구성한 다음 이것을 이용한 Denoising Score Matching Objective를 최소화 하여 NCSN을 학습하는 과정을 상세히 고찰합니다. 다음 단계로 학습된 NCSN을 이용한 Annealed Langevin Dynamics 알고리즘으로 Samples을 생성하는 전과정을 심층토론 합니다. 세미나 2. ICLR2021에서 Ermon교수팀은 이전까지 연구된 Discrete Times Points 에서 가우시안 Perturbations을 Continuous Time Diffusion으로 확장하는 모델로 Ito Diffusion 방정식( Stochastic Differential Equation)으로 Data---- Gaussian Noise으로 바꾼 다음, Anderson의 Reverse-Time SDE모델로 Gaussian Noise------ 로 주어진 데이터를 포함한 새로운 데이터를 생성함으로써 종전의 GAN, VAE, DDPM,DDIM등 과는 전혀 다른 새로운 생성모델을 제안 합니다. 더구나 마지막 생성 단계에서 Langevin Dynamics을 이용한 Predictor-Corrector알고리즘으로 생성결과의 품질을 향상시켰습니다. 위의 전 과정을 상세한 Brain-Storm 토론으로 진행 됩니다. |