若 AI 能像繪畫般創作文字？「連續擴散」語言模型的挑戰

試想一下，早上醒來時對 AI 助理說：「請將今天的會議資料總結並寄給我。」過去的 AI 是根據既定的機率，一個字接一個字地拼湊出內容；而新一代的 AI 則如同畫家在空白畫布上逐步完成作品般，從模糊的靈感開始，循序漸進地修飾語句。這就是近期 AI 研究界備受矚目的「連續擴散 (Continuous Diffusion) 語言模型」所勾勒的未來。

為什麼這項技術很重要？

目前我們使用的大多數大型語言模型（LLM，透過學習大量文字數據來像人類般寫作的 AI），皆採用按照固定順序逐字生成的「自回歸 (autoregressive)」方式。這就像只盯著前方一步距離奔跑，難以一次性宏觀地審視整篇文章的架構，存在侷限性。

相對地，橫掃圖像與影片生成領域的「擴散模型」，透過逐步精煉數據的方式，能創造出極為驚豔的成果。 參考資料 4, 參考資料 9 若能將此方式成功應用於文字，將能創造出具備更佳創意與邏輯結構的寫作模型。 參考資料 16

簡單來說：為什麼文字與圖像不同？

擴散模型本質上是一個從充滿「雜訊 (noise，即無數據的隨機狀態)」的空間中，逐步去除雜訊並還原出清晰圖像的過程。照片的亮度或色彩資訊等「像素值」是由連續數字組成的，因此這個過程連結得非常自然。 參考資料 11

然而，文字的世界截然不同。若用比喻來說，圖像的世界像平緩的丘陵，而文字的世界則像斷開的階梯。「蘋果」與「梨子」兩個單字之間不存在中間值。文字由「個別碎片 (discrete tokens)」組成，難以像圖像那樣透過平滑地去除雜訊來建構內容。 參考資料 11

為了克服這一點，研究人員利用「嵌入 (embedding，將單字意義配置於數學向量空間的技術)」來表示文字，使其如同存在於連續空間中的座標。 參考資料 12 近期出現如「黎曼擴散語言模型 (RDLM)」等研究，將單字分佈的方式描繪成「統計流形 (statistical manifold，數據所處的複雜幾何空間)」的數學地圖。透過將單字處理為在巨大的超球面 (hypersphere) 上滾動的點，開啟了以連續方式處理文字的道路。 參考資料 3, 參考資料 14

目前進展如何？

事實上，隨著 2022 年「Diffusion-LM」等嘗試出現，關於文字擴散模型的研究早已啟動。 參考資料 1 遺憾的是，迄今為止的連續擴散方式，在性能上仍被認為稍遜於現有的逐字生成模型。 參考資料 2, 參考資料 15 雖然利用數學幾何學的新模型不斷問世，但如何搭建「語言非連續性」與「連續擴散過程」之間的橋樑，仍是人工智慧研究最前線尚未攻克的難題。 參考資料 6

有何期待？

未來，這項技術有望不僅止於寫作，而是讓 AI 作為能將複雜想法分階段推論的「潛在推論者 (latent reasoner)」來活用擴散模型。 參考資料 16, 參考資料 17 在同時處理文字與圖像的多模態 (multimodal) 時代，連續擴散方式將成為打破文字、影像與圖像界線的核心技術。您下一次見到的 AI 助理，將具備比現在更深層的思考能力，並能更流暢地表達自己的觀點。

MindTickleBytes AI 記者觀點

如果擴散模型能像排列圖像像素一樣排列文字意義，我們將不僅看到 AI 進行簡單的文句生成，更將見證 AI 的思考過程轉化為一種「收斂的過程」。這將是 AI 與人類溝通更加精確的重要轉捩點。

參考資料

1. Continuous diffusion language models – Sander Dieleman

2. [LangFlow: Continuous Diffusion Rivals Discrete Models in…

   LinkedIn](https://www.linkedin.com/posts/hangke-sui_langflow-continuous-diffusion-rivals-discrete-activity-7450571557388828674-Lv6p)

3. Continuous Diffusion Model for Language Modeling [Quick Review]
4. Advances in Continuous Diffusion Language Models - YouTube
5. Continuous Diffusion for Discrete Text
6. Continuous Diffusion Model for Language Modeling - AI for…
7. Diffusion Language Models: How a New AI Paradigm Is Challenging…
8. Simple Diffusion Language Models - YouTube
9. ELF: 임베딩 공간에 머무는 연속 확산 언어 모델(Continuous Diffusion…
10. Think In Diffusion: Continuous Latent Diffusion Language Model
11. Block Diffusion Language Models: Combining autoregression and…
12. [Revue de papier] Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models
13. Models — Google DeepMind
14. [Paper Note] Continuous Diffusion Model for Language Modeling

15. [Continuous Diffusion Model for Language Modeling

    OpenReview](https://openreview.net/forum?id=VGv5y60sXC)

16. Diffusion Reasoners: Iterative Inference Models
17. Coevolutionary Continuous Discrete Diffusion… - Microsoft Research