AI 寫作的新方式，「擴散語言模型（Diffusion Language Models）」是什麼？

想像一下我們常用的 AI 聊天機器人寫作的方式。到目前為止的 AI，就像打字員一樣，一個詞一個詞地預測正確答案並連接起來。然而，現在出現了一種新的 AI 技術，它就像畫家從草圖開始，逐漸完成清晰的畫作一樣來撰寫文本。這就是「擴散語言模型（Diffusion Language Models）」。

這為什麼很重要？

我們目前所熟知代表 AI 的「GPT」等模型，基本上使用的是「自回歸（Autoregressive，觀察前一個詞來預測下一個詞）」的方式。這種方式雖然非常強大，但有時會忽略前後文脈，或者在進行創意發揮時存在限制。

擴散語言模型縮小了這種傳統方式的性能差距，並為語言模型的設計方式提出了新的替代方案 [Source 12]。這不僅僅是技術上的改變，更是擴展了 AI 如何處理和生成資訊之範式本身的關鍵轉折點 [Source 5]。

簡單易懂：在模糊霧氣中尋找文字

擴散模型原本在繪圖領域（圖像生成）取得了巨大的成果。將此原理應用於語言，可以簡單地比喻如下：

就如同「將困在模糊霧氣中的文字碎片逐漸擦拭清晰的過程」 [Source 7]。

1. 污染階段（Corruption）：首先在乾淨的句子上大量噴灑雜訊（模糊的噪聲），使其變得無法辨識 [Source 5]。
2. 恢復階段（Denoising）：現在 AI 開始逐一去除這些雜訊。最初在一團混亂的狀態下，逐漸開始能看到符合語法的單詞，重複多次後，就能完成完美的句子 [Source 5, Source 7]。

透過這種方式，AI 不僅僅是預測下一個詞，還具備了雕琢出整句結構與意義的能力。例如，使用稱為「一致性模型（Consistency Models）」的技術，可以一次過撥開這些霧氣，更快地完成文本 [Source 9]。

進展到什麼程度了？

學界和產業界正非常認真地對待這一新嘗試。根據最近的研究，這些模型不僅僅是簡單的實驗，已經開始展現出實質的性能 [Source 11]。

• LLaDA (Large Language Diffusion Models)：該模型並非使用傳統熟悉的模式，而是從頭開始以擴散方式學習，展現了突破性能極限的嘗試 [Source 12, Source 13]。
• DiffusionGemma：Google 公開了擴散型語言模型「DiffusionGemma」，展示了這項技術如何應用於現有的工作流程中 [Source 14]。

當然，由於目前仍處於初期階段，與現有模型相比需要更高水平的優化，且在上下文長度（AI 一次能記憶的資訊量）或運算效率方面，研究正活躍進行中 [Source 11]。

未來會如何發展？

擴散語言模型不僅僅是「寫作的另一種方式」，更預期將在 AI 跨越文本、圖像、聲音等多種模式，進行創意思考方面扮演關鍵角色。

專家預測，透過遮蔽擴散（遮蔽特定部分並進行填補的方式）、迭代優化技術等，將誕生出更精細的模型 [Source 1]。未來我們遇見的 AI，或許將不再只是單純背誦正確答案的存在，而是像藝術家一樣，能在複雜的雜訊中親手雕琢出最逼真且具有創意的答案。

AI 的視角：MindTickleBytes 的 AI 記者觀點

擴散模型顯示，AI 正從單純背誦數據並按順序輸出的時代，邁向自行構建脈絡並設計句子的時代。當我們視為理所當然的「AI 按順序寫作」這一前提被打破時，AI 所展現的創造力廣度，將會與現在截然不同。

參考資料

1. [Kuleshov Group

   How to Build a Diffusion Language Model](https://kuleshov-group.github.io/blog/blog/2026/how-to-build-a-diffusion-language-model/)

2. How to Build a Modern Diffusion Language Model - YouTube
3. Build and Train Diffusion Language Models from Scratch
4. Diffusion Language Models: The New Paradigm

5. [Building My Own Diffusion Language Model

   Daniel’s Blog](https://boesch.dev/posts/simple-dlm/)

6. [[論文回顧

   整理] Large Language Diffusion Models](https://with-neural-network.tistory.com/20)

7. AI/ML 核心技術分析：LoRA, RAG, Large Language Diffusion Models(LLDM) :: Solbi Lee 的部落格
8. Diffusion Guided Language Modeling
9. Diffusion Language Models: An Experimental Analysis
10. Dream 7B: Diffusion Large Language Models - arXiv.org
11. [2502.09992] Large Language Diffusion Models - arXiv.org
12. Diffusion Language Models Explained: How Google’s Diffusion …
13. The Rise of Diffusion Language Models - STARC INSTITUTE
14. Continuous diffusion language models – Sander Dieleman