AI 繪圖速度的秘密：什麼是「蒸餾 (Distillation)」？

試想一下，你正面臨一個需要拼湊 1,000 片複雜拼圖的任務。如果每一片都要非常謹慎地手動拼湊，可能需要好幾天才能完成；但如果身邊有一位對這幅拼圖圖案非常熟悉的「熟練助手」呢？即使只放置了幾個核心拼圖，熟練的助手也能預測整體畫面，轉瞬間完成拼圖。

近期在生成式 AI 領域廣受討論的「擴散模型 (Diffusion models，一種從隨機噪聲中逐漸生成影像的 AI 模型)」，其繪圖過程也與此類似。我們看到的精美影像背後，是 AI 執行了數十甚至數百次的重複操作，一步步去除噪聲並修飾影像的隱藏心血。然而，這個過程往往因為太慢而造成使用上的困擾。為了解決這個問題，一種稱為「擴散蒸餾 (Diffusion distillation)」的技術應運而生。

為什麼這很重要？

AI 影像生成技術正朝著更高解析度與更高品質的方向發展。然而，計算量也隨之呈幾何級數增加。過去的擴散模型為了生成複雜數據，不得不將困難且漫長的工作拆解為無數個微小的步驟來解決 [出處: The paradox of diffusion distillation]。

這種方式雖然產出品質優異，但有一個致命缺點：使用者接收結果的等待時間過長。如果想要在實時變化的影片或需要快速反應的應用程式中使用 AI，速度問題就是必須解決的難題。蒸餾技術能顯著提升運算速度，協助 AI 更快、更輕量地整合進我們的日常生活中 [出處: Latent Adversarial Diffusion Distillation]。

輕鬆理解原理

說到「蒸餾」，大家通常會想到威士忌或蒸餾水。AI 領域的蒸餾也有相似的意義。就像將裝滿原液（龐大的學習知識）的大桶煮沸以萃取出核心成分一樣，AI 的蒸餾是指 「將複雜的重複學習過程壓縮為幾次縮短的執行步驟」。

打個比方，假設要教一名初學者做菜，面對一份需要 100 個步驟的複雜食譜，最初必須一步不漏地跟隨；但當學生累積了烹飪經驗後，掌握了核心訣竅，或許 5 個步驟就能端出一道美味料理。同理，擴散蒸餾的核心在於基於原有模型的權重進行學習，訓練它在更少的步驟下也能產出相近的結果 [出處: GitHub - Hramchenko/diffusion_distiller]。

在此過程中，研究人員採取最小化「積分 KL 散度 (Integral KL divergence，一種用以計算兩個機率分佈間差異，衡量模型準確性的數學方法)」的策略。透過這種方式，在最大程度保留原始模型能力的同時，大幅減少影像生成的步驟 [出處: The paradox of diffusion distillation]。

目前進展到什麼程度？

目前的擴散蒸餾技術研究非常活躍。它已不僅僅是減少步驟，甚至進化到僅需「單步執行 (Single-step)」即可生成高品質影像的水平 [出處: [論文評析] One-step Diffusion with Distribution Matching Distillation (DMD)]。這是一項大膽的嘗試，旨在完全超越原有迭代生成方式的速度極限。

然而，如同所有技術一般，蒸餾也存在侷限性。試圖用更少的步驟完成任務時，往往會面臨丟失原始模型所擁有的細微細節或紋理的風險。如何在「速度」與「品質」之間找到最佳平衡點，正是目前技術人員最苦惱的難題 [出處: The paradox of diffusion distillation]。

未來展望

未來，過去只有專家級超級電腦才能實現的高品質影像或影片生成，將有望在個人電腦或行動裝置上實現。若能將沈重的模型輕量化蒸餾並放入智慧型手機中，AI 將能即時轉換你所拍攝照片的畫風，或是進行電影般的變形處理，這些都將成為日常生活的一部分。

簡單來說，隨著「蒸餾」技術的進步，AI 將變得更快，我們將能像使用照片濾鏡 App 一樣輕鬆使用 AI 生成的結果。期待速度革命帶來的嶄新創作時代。

參考資料

1. Dieleman, S. (2024). The paradox of diffusion distillation. https://sander.ai/2024/02/28/paradox.html
2. Hacker News. (2024). The paradox of diffusion distillation (2024). https://news.ycombinator.com/item?id=49553830
3. Sauer, A., et al. (2024). Designing Parameter and Compute Efficient Diffusion Transformers. https://arxiv.org/html/2502.14226
4. Kim, D., et al. (2025). Autoregressive Distillation of Diffusion Transformers. https://openaccess.thecvf.com/content/CVPR2025/papers/Kim_Autoregressive_Distillation_of_Diffusion_Transformers_CVPR_2025_paper.pdf
5. Hramchenko, A. (n.d.). diffusion_distiller: PyTorch Implementation. https://github.com/Hramchenko/diffusion_distiller
6. Emergent Mind. (2024). Latent Adversarial Diffusion Distillation. https://www.emergentmind.com/papers/2403.12015
7. Tamir, M. (2024). The paradox of diffusion distillation. https://www.linkedin.com/posts/miketamir_the-paradox-of-diffusion-distillation-activity-7201659030103052290-0GXd
8. arXiv. (2025). A Survey on Pre-Trained Diffusion Model Distillations. https://arxiv.org/html/2502.08364
9. Kim, S. (2024). The paradox of diffusion distillation by Sander Dieleman. https://www.threads.com/@sung.kim.mw/post/C36Y-ykJfmr
10. Kim, J. (2023). [論文評析] On Distillation of Guided Diffusion Models. https://kimjy99.github.io/논문리뷰/on-distillation/
11. Kim, J. (2024). [論文評析] One-step Diffusion with Distribution Matching Distillation (DMD). https://kimjy99.github.io/논문리뷰/dmd/
12. Su, D., et al. (2024). D4M: Dataset Distillation via Disentangled Diffusion Model. https://openaccess.thecvf.com/content/CVPR2024/papers/Su_D4_Dataset_Distillation_via_Disentangled_Diffusion_Model_CVPR_2024_paper.pdf
13. YouTube. (n.d.). LADD: Fast High-Resolution Image Synthesis with Latent… https://www.youtube.com/watch?v=9T352z1woNc
14. Practical Diffusion. (2025). Schedule - 6.S183: A Practical Introduction to Diffusion Models. https://www.practical-diffusion.org/2025/schedule/
15. Paper Notes. (2025). [Paper Note] Adversarial Distribution Matching for Diffusion Distillation. https://en.papernotes.org/ICCV2025/video_generation/adversarial_distribution_matching_for_diffusion_distillation_towards_efficient_i/
16. Chan, A. (n.d.). Diffusion Models. https://andrewkchan.dev/posts/diffusion.html