AI 是如何思考的？透過網頁瀏覽器親手打造「Transformer」的世界

AI，現在不再是魔法，而是「觀察的對象」

試著想像一下：當你問聊天機器人「今天天氣如何？」時，在 AI 給出答案之前，它的內部究竟發生了什麼事？直到現在，對大多數人而言，AI 就像一個只要按一個按鈕就能像變魔術般產出結果的「黑箱（Black Box）」。

然而，現在已經開啟了一個能夠打開這個箱子，親眼觀察內部齒輪如何運轉的時代。近期，出現了大量可以在網頁瀏覽器中直接建構並視覺化大型語言模型（LLM，Large Language Model）核心結構——「Transformer」（一種捕捉句子中單字間關係的 AI 結構）的工具。現在，即使不是程式設計專家，也能像拼圖一樣觀察 AI 大腦運作的方式。

這為什麼重要？

隨著 AI 滲透到社會各個角落，我們每天都在消費 AI 的產出物。但如果我們無法理解該結果是透過何種邏輯過程產生的，就很難察覺 AI 所提供資訊的偏見或錯誤。

這些視覺化工具打破了 AI 教育的高牆。使用者不再只是閱讀理論，而是能透過親自變更模型設定，並觀察實時變化的數據流來進行學習。這揭開了 AI 擁有的「黑箱」性質，不僅提高了對技術的信任，更為更多人能夠貢獻於 AI 技術發展奠定了基礎。

輕鬆理解：AI 的「觀察攝影機」

簡單來說，這些工具就像是深入觀察 AI 模型的「內視鏡」或「觀察攝影機」。比喻來說，這就像打開汽車引擎蓋，親眼看著活塞運動一樣。

例如，像 Transformer Explainer 這類工具，能直接在瀏覽器中展示 GPT-2 等實際模型的運作過程 Transformer Explainer。此工具基於 Andrej Karpathy 的 nanoGPT 專案，並以熱圖（Heatmap，將數據強度以顏色呈現的技術）形式，展示了模型在閱讀句子時，特別關注（Attention，在文脈中為重要單字賦予權重的功能）哪些單字 Transformer Explainer。

當你輸入「我吃了蘋果」這句話時，模型為了捕捉「蘋果」與「吃了」這兩個單字之間的關係，會傳遞無數的箭頭。視覺化工具會以 3D 動畫或即時圖表顯示這些箭頭指向何處，以及每一層（Layer）資訊如何變化 LLM Visualizer, LLM Visualization。這提供了如同魔法般的體驗，將複雜的數學矩陣運算轉化為我們肉眼能理解的資訊。

現況：走進網頁的 AI 實驗室

目前我們能使用的工具其精細程度令人驚嘆。

1. 親手建構的體驗：有些工具會展示使用者親自選擇數據集，並從頭開始訓練（Pre-train）模型的過程。在這個過程中，可以確認所有的 Token（Token，AI 識別數據的最小單位）與訓練數據是如何輸入模型中的 Build an LLM。
2. 與程式碼的連結：為專家設計的工具將肉眼可見的視覺化與實際的 PyTorch（AI 開發的核心框架）程式碼進行一對一連結。使用者甚至可以檢查 Tensor（Tensor，AI 運算的基本單位——多維陣列）的形狀如何變化，以及佔用了多少記憶體 LLM Improvement Visualizer。
3. 利用實際模型數據：還有一些工具會捕捉以莎士比亞作品（Tiny Shakespeare）等訓練過後的模型內部數據，進而視覺化模型實際上是如何思考的 GitHub - pegg-dot/Transformer。

未來將會如何？

未來，「理解並修正」AI 模型的工作將會更加普及。目前雖然還處於單純觀察的階段，但未來將會發展出使用者能直接在特定文脈中視覺化確認 AI 的偏見，並進行調節形態的介面。此外，這些工具對 AI 研究人員而言，將成為除錯（Debugging，修正程式錯誤的過程）複雜模型的強大工具，對一般大眾而言，則將成為教授 AI 技術運作原理的優良教科書。

MindTickleBytes 的 AI 記者觀點

雖然人們常說 AI 正在改變世界，但若我們無法看見那個「AI 的世界」，那充其量只是一半的理解。現在，超越單純「使用」AI，進而「深入觀察」它已經變得至關重要。不如今天就打開網頁瀏覽器，踏上一場 AI 大腦之旅如何？在那裡，肯定展開著我們前所未見的全新數位世界。

參考資料

1. LLM Visualizer — Build a Transformer from Scratch
2. Transformer Explainer: LLM Transformer Model Visually Explained

3. [LLM Visualizer – Build a Transformer from Scratch

   Hacker News](https://news.ycombinator.com/item?id=49652996)

4. LLM Visualization

5. [🧠 Building an LLM from Scratch — How Transformers Learn, Think, and Generate

   llm-from-scratch](https://nilesh-salpe.github.io/llm-from-scratch/)

6. Build an LLM
7. LLM Visualizer - Interactive 3D Transformer Walkthrough
8. Build a Transformer from Scratch - Visual Guide
9. LLMVisualizer - a Hugging Face Space by CodeWithJoe
10. Build an LLM
11. GitHub - pegg-dot/Transformer: Build a transformer from …
12. LLM Matrix Lab: Multi-Model AI Tokenizer & LLM Visualization …

13. [LLM Improvement Visualizer

    Transformer Internals with Code](https://vivekgupta.ai/llm-visualizer)