AI가 이미지를 그리는 속도의 비밀, '증류(Distillation)'란 무엇일까?

상상해보세요. 1,000개의 복잡한 퍼즐 조각을 맞춰야 하는 상황입니다. 만약 조각을 하나씩 아주 신중하게 맞춰야 한다면 완성까지 며칠이 걸리겠지만, 이 퍼즐의 패턴을 아주 잘 아는 ‘숙련된 조수’가 옆에 있다면 어떨까요? 몇 개의 핵심 조각만 놓아도 숙련된 조수는 전체 그림을 예측해서 순식간에 퍼즐을 완성해낼 것입니다.

최근 생성형 AI 분야에서 화제가 되는 ‘디퓨전 모델(Diffusion models, 무작위 노이즈에서 서서히 이미지를 만들어내는 AI 모델)’이 이미지를 그려내는 과정도 이와 비슷합니다. 우리가 보는 멋진 이미지 뒤에는 AI가 수십, 수백 번의 반복 작업을 수행하며 노이즈를 걷어내고 이미지를 다듬어가는 숨은 노력이 숨어있습니다. 그런데 이 과정이 너무 느려 불편할 때가 많죠. 이를 해결하기 위해 등장한 기술이 바로 ‘디퓨전 증류(Diffusion distillation)’입니다.

이게 왜 중요한가요?

AI 이미지 생성 기술은 점점 더 고해상도, 고품질을 지향하고 있습니다. 하지만 그만큼 계산량이 기하급수적으로 늘어나고 있죠. 이전의 디퓨전 모델은 복잡한 데이터를 생성하기 위해 어렵고 긴 작업을 수많은 작은 단계로 쪼개어 해결해야만 했습니다 [출처: The paradox of diffusion distillation].

이러한 방식은 결과물의 품질은 뛰어나지만, 사용자가 결과를 받기까지 너무 오래 기다려야 한다는 치명적인 단점이 있습니다. 만약 실시간으로 바뀌는 영상이나 빠르게 반응해야 하는 앱에서 AI를 사용하고 싶다면, 이 속도 문제는 반드시 해결해야 할 숙제입니다. 증류 기술은 바로 이 속도를 비약적으로 높여 AI를 우리 일상에 훨씬 더 빠르게, 그리고 가볍게 탑재할 수 있게 도와줍니다 [출처: Latent Adversarial Diffusion Distillation].

쉽게 이해하기

‘증류’라고 하면 보통 위스키나 정제수를 떠올리실 텐데요, AI에서의 증류도 비슷한 의미입니다. 큰 통에 담긴 원액(방대한 학습 지식)을 끓여서 핵심 성분만 뽑아내는 것처럼, AI의 증류는 “복잡한 반복 학습 과정을 몇 번의 단축된 실행으로 압축하는 것”을 말합니다.

비유하자면, 요리를 처음 배우는 학생에게 100단계에 걸친 복잡한 레시피를 가르친다고 해봅시다. 처음에는 모든 단계를 따라야 하지만, 학생이 요리 실력을 쌓고 나면 핵심만 파악해 5단계 만에 훌륭한 요리를 만들어낼 수 있겠죠? 이처럼 기존 모델의 가중치를 기반으로 학습을 시작해, 더 적은 단계로도 비슷한 결과물을 낼 수 있도록 훈련하는 것이 디퓨전 증류의 핵심입니다 [출처: GitHub - Hramchenko/diffusion_distiller].

이때 연구자들은 ‘적분 KL 발산(Integral KL divergence, 두 확률 분포 간의 차이를 계산하여 모델이 얼마나 정확한지를 측정하는 수학적 방식)’을 최소화하는 전략을 사용합니다. 이를 통해 원본 모델이 가진 능력을 최대한 유지하면서도, 이미지를 생성하는 과정의 단계는 획기적으로 줄이는 것이죠 [출처: The paradox of diffusion distillation].

어디까지 왔을까?

현재 디퓨전 증류 기술은 아주 활발하게 연구되고 있습니다. 단순히 단계를 줄이는 것을 넘어, 단 한 번의 실행(Single-step)만으로 고품질 이미지를 생성해내는 수준까지 진화하고 있습니다 [출처: [논문리뷰] One-step Diffusion with Distribution Matching Distillation (DMD)]. 이는 기존의 반복적인 생성 방식이 가진 속도의 한계를 완전히 뛰어넘으려는 과감한 시도입니다.

다만, 모든 기술이 그렇듯 증류에도 한계는 있습니다. 더 적은 단계로 무언가를 만들어내려다 보면 원본 모델이 가졌던 아주 미세한 디테일이나 질감 등을 놓칠 위험이 있습니다. ‘속도’와 ‘품질’ 사이에서 최적의 접점을 찾는 것이 현재 기술자들이 씨름하고 있는 가장 큰 고민거리입니다 [출처: The paradox of diffusion distillation].

앞으로 어떻게 될까?

앞으로는 전문가용 슈퍼컴퓨터에서나 가능했던 고품질의 이미지나 영상 생성이 개인 컴퓨터나 모바일 기기에서도 가능해질 것입니다. 무거운 모델을 가볍게 증류하여 스마트폰에 넣는다면, 여러분이 찍은 사진을 그 자리에서 AI가 실시간으로 화풍을 바꿔주거나 영화처럼 변형하는 일이 일상적인 경험이 될 것입니다.

쉽게 말해, ‘증류’ 기술이 발전할수록 AI는 더 빨라질 것이고, 우리는 AI가 뚝딱 그려낸 결과물들을 마치 사진 필터 앱을 쓰듯 가볍게 사용하게 될 것입니다. 속도의 혁신이 가져올 새로운 창작의 시대를 기대해 봅니다.

참고자료

1. Dieleman, S. (2024). The paradox of diffusion distillation. https://sander.ai/2024/02/28/paradox.html
2. Hacker News. (2024). The paradox of diffusion distillation (2024). https://news.ycombinator.com/item?id=49553830
3. Sauer, A., et al. (2024). Designing Parameter and Compute Efficient Diffusion Transformers. https://arxiv.org/html/2502.14226
4. Kim, D., et al. (2025). Autoregressive Distillation of Diffusion Transformers. https://openaccess.thecvf.com/content/CVPR2025/papers/Kim_Autoregressive_Distillation_of_Diffusion_Transformers_CVPR_2025_paper.pdf
5. Hramchenko, A. (n.d.). diffusion_distiller: PyTorch Implementation. https://github.com/Hramchenko/diffusion_distiller
6. Emergent Mind. (2024). Latent Adversarial Diffusion Distillation. https://www.emergentmind.com/papers/2403.12015
7. Tamir, M. (2024). The paradox of diffusion distillation. https://www.linkedin.com/posts/miketamir_the-paradox-of-diffusion-distillation-activity-7201659030103052290-0GXd
8. arXiv. (2025). A Survey on Pre-Trained Diffusion Model Distillations. https://arxiv.org/html/2502.08364
9. Kim, S. (2024). The paradox of diffusion distillation by Sander Dieleman. https://www.threads.com/@sung.kim.mw/post/C36Y-ykJfmr
10. Kim, J. (2023). [논문리뷰] On Distillation of Guided Diffusion Models. https://kimjy99.github.io/논문리뷰/on-distillation/
11. Kim, J. (2024). [논문리뷰] One-step Diffusion with Distribution Matching Distillation (DMD). https://kimjy99.github.io/논문리뷰/dmd/
12. Su, D., et al. (2024). D4M: Dataset Distillation via Disentangled Diffusion Model. https://openaccess.thecvf.com/content/CVPR2024/papers/Su_D4_Dataset_Distillation_via_Disentangled_Diffusion_Model_CVPR_2024_paper.pdf
13. YouTube. (n.d.). LADD: Fast High-Resolution Image Synthesis with Latent… https://www.youtube.com/watch?v=9T352z1woNc
14. Practical Diffusion. (2025). Schedule - 6.S183: A Practical Introduction to Diffusion Models. https://www.practical-diffusion.org/2025/schedule/
15. Paper Notes. (2025). [Paper Note] Adversarial Distribution Matching for Diffusion Distillation. https://en.papernotes.org/ICCV2025/video_generation/adversarial_distribution_matching_for_diffusion_distillation_towards_efficient_i/
16. Chan, A. (n.d.). Diffusion Models. https://andrewkchan.dev/posts/diffusion.html