AIが絵を描くように文章を書いたら？「連続拡散」言語モデルの挑戦

想像してみてください。朝起きてAIアシスタントに「今日の会議資料を要約してメールで送って」と話しかけます。これまでのAIが決められた確率に基づいて単語を一つずつ繋ぎ合わせていたのに対し、新しい方式のAIは、まるで画家が真っ白なキャンバスに徐々に鮮明な絵を完成させていくように、ぼんやりとしたアイデアから始めて、文章を漸進的に磨き上げていきます。これこそが、最近のAI研究界で熱い注目を浴びている「連続拡散（Continuous Diffusion）言語モデル」が夢見る未来です。

なぜこの技術が重要なのでしょうか？

現在私たちが使っている大規模言語モデル（LLM）のほとんどは、決められた順番通りに単語を一つずつ生成する「自己回帰（autoregressive）」方式を採用しています。これは、ほんの一寸先だけを見て走るようなもので、文章全体の大きな構図を一度に見渡すことが難しいという限界があります。

一方、画像やビデオ生成の分野を席巻した「拡散モデル」は、データを段階的に精緻化していくことで、非常に優れた成果を生み出します。参考資料 4、参考資料 9 もしこの手法をテキストにも成功裏に適用できれば、今よりもはるかに創造的で論理的な構造を持つ文章作成が可能になるでしょう。参考資料 16

簡単な解説：なぜテキストは画像と違うのでしょうか？

拡散モデルは、元々「ノイズ（データがないランダムな状態）」で満たされた空間から、徐々にそれを取り除きながら鮮明な画像を見つけ出していく過程です。写真の明るさや色の情報である「ピクセル値」は連続的な数値で構成されているため、この過程は非常に自然に繋がります。参考資料 11

しかし、テキストは全く別の世界です。例えるなら、画像の世界が滑らかな丘陵地帯だとしたら、テキストの世界は断絶された階段のようなものです。「りんご」という単語と「梨」という単語の間には中間値が存在しません。テキストは「個別の断片（離散トークン）」で構成されているため、画像のように滑らかにノイズを取り除きながら文章を作るのは非常に困難です。参考資料 11

これを解決するために研究者たちは、テキストをまるで連続的な空間に存在する座標のように表現する「埋め込み（embedding：単語の意味を数学的ベクトル空間に配置する技術）」を活用しています。参考資料 12 近年登場した「リーマン拡散言語モデル（RDLM）」などの研究では、単語が分布するあり方を「統計的多様体（statistical manifold：データが置かれた複雑な幾何学的空間）」という数学的な地図として描き出します。巨大な球体（超球面）の上を転がる点のように単語を処理することで、テキストを連続的な方法で扱う道が開かれつつあります。参考資料 3、参考資料 14

どこまで進んでいるのでしょうか？

2022年に「Diffusion-LM」のような試みが登場して以来、テキスト拡散モデルに関する研究はすでに始まっていました。参考資料 1 残念ながら、これまでの連続拡散方式は、既存の単語単位で文章を構築するモデルに比べると性能がやや劣るという評価を受けてきました。参考資料 2、参考資料 15 数学的な幾何学を活用した新しいモデルが次々と登場していますが、「言語の不連続性」と「連続的な拡散プロセス」の間に橋を架けることは、依然としてAI研究の最前線で進行中の、解くのが難しい難問です。参考資料 6

何が期待されるのでしょうか？

今後は単に文章を上手に書くだけでなく、AIが複雑な思考を段階別に推論する「潜在的推論者（latent reasoner）」として拡散モデルを活用する可能性が高いでしょう。参考資料 16、参考資料 17 テキストと画像を同時に処理するマルチモーダルな時代において、連続拡散方式はテキスト、映像、画像間の境界を崩す核となる技術になるはずです。皆さんが次に目にするAIアシスタントは、今よりもはるかに深く思考し、自分の考えを滑らかに展開する能力を備えることになるでしょう。

MindTickleBytesのAI記者からの視点

拡散モデルが画像のピクセルを整列させるようにテキストの意味を整列させることができるようになれば、私たちは単純な文章生成を超えて、AIの思考プロセスを「収束する過程」として捉えることになるでしょう。これは、AIと人間のコミュニケーションが一段と精巧になる重要な分岐点となるはずです。

参考資料

1. Continuous diffusion language models – Sander Dieleman

2. [LangFlow: Continuous Diffusion Rivals Discrete Models in…

   LinkedIn](https://www.linkedin.com/posts/hangke-sui_langflow-continuous-diffusion-rivals-discrete-activity-7450571557388828674-Lv6p)

3. Continuous Diffusion Model for Language Modeling [Quick Review]
4. Advances in Continuous Diffusion Language Models - YouTube
5. Continuous Diffusion for Discrete Text
6. Continuous Diffusion Model for Language Modeling - AI for…
7. Diffusion Language Models: How a New AI Paradigm Is Challenging…
8. Simple Diffusion Language Models - YouTube
9. ELF: Embeddings in Latent Space - Continuous Diffusion Language Model
10. Think In Diffusion: Continuous Latent Diffusion Language Model
11. Block Diffusion Language Models: Combining autoregression and…
12. [Paper Review] Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models
13. Models — Google DeepMind
14. [Paper Note] Continuous Diffusion Model for Language Modeling

15. [Continuous Diffusion Model for Language Modeling

    OpenReview](https://openreview.net/forum?id=VGv5y60sXC)

16. Diffusion Reasoners: Iterative Inference Models
17. Coevolutionary Continuous Discrete Diffusion… - Microsoft Research