AI 绘画速度的秘密：什么是“蒸馏（Distillation）”？

想象一下，你面前有 1,000 块复杂的拼图需要拼接。如果必须一块一块地非常小心地拼凑，可能需要几天才能完成；但如果身边有一位对拼图模式了如指掌的“熟练助手”，情况会怎样呢？只需放置几块关键拼图，这位助手就能预测出整幅画面，瞬间完成拼图。

在近期生成式 AI 领域备受瞩目的“扩散模型（Diffusion models，一种从随机噪声中逐渐生成图像的 AI 模型）”，其绘图过程也与之类似。在我们看到的精美图像背后，隐藏着 AI 反复数十次、甚至数百次地去除噪声并精修图像的辛勤工作。然而，这个过程往往太慢，使用起来不够便捷。为了解决这一问题，“扩散蒸馏（Diffusion distillation）”技术应运而生。

为什么这很重要？

AI 图像生成技术正日益向高分辨率、高质量方向发展。但随之而来的是计算量呈几何级数增长。早期的扩散模型为了生成复杂数据，必须将艰巨且漫长的任务拆解为无数的小步骤来解决 [出处：The paradox of diffusion distillation]。

这种方式虽然成品质量出众，但存在一个致命缺陷：用户等待结果的时间太长。如果想要在实时变化的视频或需要快速响应的应用程序中使用 AI，速度问题就是必须攻克的课题。蒸馏技术能够显著提升这一速度，助力 AI 更快、更轻便地融入我们的日常生活 [出处：Latent Adversarial Diffusion Distillation]。

浅显易懂的原理

提到“蒸馏”，大家通常会联想到威士忌或蒸馏水。AI 领域的蒸馏含义也类似：就像将大桶中的原液（庞大的学习知识）煮沸并提取核心成分一样，AI 的蒸馏是指 “将复杂的重复学习过程压缩为几次精简的执行步骤”。

打个比方，假设我们要教一名初学者烹饪一道需要 100 个步骤的复杂菜肴。最初他必须严格遵循每一个步骤，但当他积累了足够的烹饪功底后，他就能掌握核心逻辑，只需 5 个步骤就能烹饪出美味的佳肴。扩散蒸馏的核心在于，基于原模型的权重开始学习，通过训练使其能在更少的步骤内生成类似的结果 [出处：GitHub - Hramchenko/diffusion_distiller]。

在此过程中，研究人员采用了最小化“积分 KL 散度（Integral KL divergence，一种测量两个概率分布之间差异以评估模型准确性的数学方法）”的策略。通过这种方式，既能最大限度地保持原模型的能力，又显著减少了生成图像的步骤 [出处：The paradox of diffusion distillation]。

现状如何？

目前，扩散蒸馏技术的研究正处于极其活跃的状态。它不仅限于减少步骤，甚至正在进化到只需一次执行（Single-step）就能生成高质量图像的水平 [出处：[论文综述] One-step Diffusion with Distribution Matching Distillation (DMD)]。这是在彻底挑战现有循环生成方式的速度极限。

当然，正如任何技术一样，蒸馏也存在局限性。如果试图用更少的步骤进行创作，就有可能丢失原模型所具备的极其细腻的细节或质感。如何在“速度”与“质量”之间找到最佳平衡点，是目前技术人员正在全力攻克的难题 [出处：The paradox of diffusion distillation]。

未来展望

未来，只有专业超级计算机才能处理的高质量图像或视频生成，将在个人电脑或移动设备上成为可能。如果我们将庞大的模型通过蒸馏变得轻量化并植入智能手机，AI 就能实时改变你所拍摄照片的画风，或者将其像电影一样进行处理，这都将成为日常体验。

简而言之，随着“蒸馏”技术的发展，AI 将变得更快。我们将像使用照片滤镜应用一样，轻松地使用 AI 瞬间绘制出的成果。期待速度的革新所带来的全新创作时代。

参考资料

1. Dieleman, S. (2024). The paradox of diffusion distillation. https://sander.ai/2024/02/28/paradox.html
2. Hacker News. (2024). The paradox of diffusion distillation (2024). https://news.ycombinator.com/item?id=49553830
3. Sauer, A., et al. (2024). Designing Parameter and Compute Efficient Diffusion Transformers. https://arxiv.org/html/2502.14226
4. Kim, D., et al. (2025). Autoregressive Distillation of Diffusion Transformers. https://openaccess.thecvf.com/content/CVPR2025/papers/Kim_Autoregressive_Distillation_of_Diffusion_Transformers_CVPR_2025_paper.pdf
5. Hramchenko, A. (n.d.). diffusion_distiller: PyTorch Implementation. https://github.com/Hramchenko/diffusion_distiller
6. Emergent Mind. (2024). Latent Adversarial Diffusion Distillation. https://www.emergentmind.com/papers/2403.12015
7. Tamir, M. (2024). The paradox of diffusion distillation. https://www.linkedin.com/posts/miketamir_the-paradox-of-diffusion-distillation-activity-7201659030103052290-0GXd
8. arXiv. (2025). A Survey on Pre-Trained Diffusion Model Distillations. https://arxiv.org/html/2502.08364
9. Kim, S. (2024). The paradox of diffusion distillation by Sander Dieleman. https://www.threads.com/@sung.kim.mw/post/C36Y-ykJfmr
10. Kim, J. (2023). [论文综述] On Distillation of Guided Diffusion Models. https://kimjy99.github.io/논문리뷰/on-distillation/
11. Kim, J. (2024). [论文综述] One-step Diffusion with Distribution Matching Distillation (DMD). https://kimjy99.github.io/논문리뷰/dmd/
12. Su, D., et al. (2024). D4M: Dataset Distillation via Disentangled Diffusion Model. https://openaccess.thecvf.com/content/CVPR2024/papers/Su_D4_Dataset_Distillation_via_Disentangled_Diffusion_Model_CVPR_2024_paper.pdf
13. YouTube. (n.d.). LADD: Fast High-Resolution Image Synthesis with Latent… https://www.youtube.com/watch?v=9T352z1woNc
14. Practical Diffusion. (2025). Schedule - 6.S183: A Practical Introduction to Diffusion Models. https://www.practical-diffusion.org/2025/schedule/
15. Paper Notes. (2025). [论文笔记] Adversarial Distribution Matching for Diffusion Distillation. https://en.papernotes.org/ICCV2025/video_generation/adversarial_distribution_matching_for_diffusion_distillation_towards_efficient_i/
16. Chan, A. (n.d.). Diffusion Models. https://andrewkchan.dev/posts/diffusion.html