| Contents | Diffusion-based generative models offer high-quality generation but incur substantial computational costs due to their iterative denoising process.
This paper proposes an offline distillation method called the Koopman Distillation Model (KDM) to reduce these costs. The key idea is to represent the nonlinear generative dynamics of diffusion models linearly in a suitable latent space, compressing the multistep generation process into a single transformation.
KDM uses an encoder to map noise inputs into a latent space, transforms these representations using a learned linear operator, and then generates clean samples through a decoder. This architecture is designed to preserve generation quality even in a single step by exploiting the semantic consistency inherent in the diffusion process. Under stated assumptions, the authors justify a finite-dimensional Koopman representation of diffusion dynamics. They also analyze how nearby latent representations correspond to semantically similar outputs, providing a theoretical foundation for aligning generative trajectories.
On standard offline distillation benchmarks, KDM demonstrates competitive generative performance, with the official abstract reporting FID improvements of up to 40% over the comparison methods. The significance of this work lies in its theoretical framework and learning architecture, which connect a linear representation of nonlinear diffusion dynamics to single-step generation.
확산 기반 생성모형은 우수한 생성 품질을 제공하지만, 반복적인 잡음 제거 과정으로 인해 높은 계산 비용이 발생한다.
이 논문은 이러한 비용을 줄이기 위해 Koopman Distillation Model(KDM)이라는 오프라인 증류 방법을 제안한 다. 핵심 아이디어는 확산모형의 비선형 생성 동역학을 적절한 잠재공간에서 선형적으로 표현하여, 여러 단계의 생성 과정을 한 번의 변환으로 압축하는 것이다. KDM은 인코더를 통해 잡음 입력을 잠재공간으로 옮기고, 학습된 선형 연산자로 이를 변환한 다음, 디코더를 통 해 깨끗한 표본을 생성한다. 이 구조는 확산 과정에 내재된 의미적 일관성을 활용하여 단일 단계에서도 생성 품 질을 유지하도록 설계된다. 저자들은 명시된 가정 아래에서 확산 동역학의 유한차원 Koopman 표현을 정당화하 고, 잠재공간에서 가까운 표현들이 의미적으로 유사한 출력과 연결됨을 분석하여 생성 궤적 정렬의 이론적 근거 를 제시한다.
표준 오프라인 증류 벤치마크에서 KDM은 경쟁력 있는 생성 성능을 보이며, 공식 초록은 비교 대상 대비 FID가 최대 40% 개선되었다고 보고한다. 이 연구의 의의는 비선형 확산 동역학의 선형 표현을 단일 단계 생성과 연결 하는 이론 및 학습 구조를 제시한 데 있다.
|
