AI 写作的新方式，什么是“扩散语言模型（Diffusion Language Models）”？

想象一下，我们常用的 AI 聊天机器人是如何写作的。到目前为止，这些 AI 就像打字员一样，逐字预测正确的内容并将它们连接起来。但现在，一种新的 AI 技术出现了，它像画家从底稿开始逐渐完成一幅清晰的画作一样进行写作。这就是“扩散语言模型（Diffusion Language Models）”。

为什么这很重要？

我们目前所知的 AI 代表——如“GPT”等模型，本质上使用的是“自回归（Autoregressive，根据前文预测下一个词）”方式。虽然这种方式非常强大，但有时会忽略上下文，且在进行创造性变奏方面存在局限。

扩散语言模型正在缩小现有方式的性能差距，并为语言模型的设计提出了新的替代方案 [Source 12]。这不仅是技术上的改变，更是一个重要的转折点，将扩展关于 AI 如何处理和生成信息的范式本身 [Source 5]。

通俗理解：在模糊的迷雾中寻找文字

扩散模型最初在绘画领域（图像生成）取得了巨大成果。现在将这一原理应用到语言上，可以简单比喻为：

“从被迷雾笼罩的文字碎片中，逐渐擦亮使其变得清晰的过程” [Source 7]。

1. 污染阶段（Corruption）：首先在整洁的句子上肆意喷洒噪声（模糊杂音）。即让句子变得无法辨认 [Source 5]。
2. 恢复阶段（Denoising）：现在 AI 开始逐一去除这些噪声。最初是在一片混乱的状态下开始，渐渐能看到符合语法的单词，重复这一过程，最终便能完成完美的句子 [Source 5, Source 7]。

通过这种方式，AI 不仅仅是预测下一个单词，还具备了雕琢整个句子结构和意义的能力。例如，使用名为“一致性模型（Consistency Models）”的技术，可以一次性拂去这些模糊的迷雾，从而更快地完成写作 [Source 9]。

进展如何？

学术界和业界都在非常认真地对待这一新尝试。根据近期研究，这些模型不仅停留在实验阶段，已经开始展现出实际的性能 [Source 11]。

• LLaDA (Large Language Diffusion Models)：该模型并非采用传统的熟悉方式，而是从一开始就通过扩散方式进行训练，试图突破性能的瓶颈 [Source 12, Source 13]。
• DiffusionGemma：谷歌公开了扩散方式的语言模型“DiffusionGemma”，展示了该技术如何应用于现有的工作流程中 [Source 14]。

当然，由于仍处于初期阶段，与现有模型相比，它需要更高水平的优化，且在上下文长度（AI 一次能记住的信息量）或计算效率方面，相关研究正在积极进行中 [Source 11]。

未来会怎样？

扩散语言模型不仅是“写作的另一种方法”，它还被期待在 AI 跨越文本、图像、声音等多种模式进行创造性思考的过程中发挥核心作用。

专家们预测，通过掩码扩散（遮蔽特定部分进行填充的方式）、迭代精炼技术等，将诞生出更精致的模型 [Source 1]。未来我们遇到的 AI 可能不再仅仅是背诵正确答案的存在，而是像艺术家一样，在复杂的噪声中自主雕琢出最逼真、最具创造性回答的伙伴。

AI 之眼：MindTickleBytes 的 AI 记者视角

扩散模型表明，AI 正在超越仅仅死记硬背数据并进行顺序输出的时代，跨入自主构建语境、设计句子的时代。当我们理所当然认为的“AI 逐字写作”的前提被打破时，AI 将展现出的创造力空间将与现在完全不同。

参考资料

1. [Kuleshov Group

   How to Build a Diffusion Language Model](https://kuleshov-group.github.io/blog/blog/2026/how-to-build-a-diffusion-language-model/)

2. How to Build a Modern Diffusion Language Model - YouTube
3. Build and Train Diffusion Language Models from Scratch
4. Diffusion Language Models: The New Paradigm

5. [Building My Own Diffusion Language Model

   Daniel’s Blog](https://boesch.dev/posts/simple-dlm/)

6. [[论文评论

   整理] Large Language Diffusion Models](https://with-neural-network.tistory.com/20)

7. AI/ML 核心技术分析：LoRA, RAG, Large Language Diffusion Models(LLDM) :: Solbi Lee 的博客
8. Diffusion Guided Language Modeling
9. Diffusion Language Models: An Experimental Analysis
10. Dream 7B: Diffusion Large Language Models - arXiv.org
11. [2502.09992] Large Language Diffusion Models - arXiv.org
12. Diffusion Language Models Explained: How Google’s Diffusion …
13. The Rise of Diffusion Language Models - STARC INSTITUTE
14. Continuous diffusion language models – Sander Dieleman