AI 也會學習「偏見」嗎？DeepSeek 模型蒸餾與審查的秘密

想像一下。假設你正在向一位非常聰明，但在特定主題上卻三緘其口或只會說偏頗言論的老師學習。在這種老師指導下學習的學生，是否也會產生同樣偏頗的思考方式呢？在人工智慧（AI）領域，也存在著類似的困擾。近期備受關注的中國 AI 模型「DeepSeek」所引發的審查爭議，正是如此。

DeepSeek 一直被認為會對政治敏感問題拒絕回答，或以對特定國家友好的方向修改內容出處：Semafor。許多開發者擔心，在將 DeepSeek 龐大的知識提取出來，製作成輕量且高效的小型模型的「蒸餾（Distillation）」過程中，這些審查習慣是否也會一併被繼承。然而，近期一項有趣的實驗結果消除了部分疑慮，引發了熱烈討論。

為什麼這很重要？

在 AI 模型開發過程中，開發者偏好使用「模型蒸餾」技術：先建立一個效能極高的大型模型（老師），再將該模型的回答作為教材，訓練出更輕量、更快速的小型模型（學生）出處：Forbes。

如果老師模型的「審查習慣」會完整傳遞給學生模型，開發者為了製作出有用的 AI，就必須承擔每次都從零開始、重新訓練巨量數據的鉅額成本。但這項研究為想要高效輕量化 AI 的開發者提供了一絲技術希望——「審查特性不一定會被複製」。

簡單來說：AI 模型蒸餾（Distillation）

將 AI 模型蒸餾比喻為學校課程會更容易理解。大型模型——「老師」，是一個學習過無數數據、如同百科全書般的存在；而小型模型——「學生」，則以輕巧的容量高效運作。

• 蒸餾（Distillation）：這是一個讓老師模型解開難題，並將老師回答問題的細緻方式傳授給學生模型的過程出處：Semafor。
• 審查的傳遞：人們擔心如果老師因為政治因素避開特定回答，學生是否也會採取同樣的行為出處：Semafor。

然而，近期的研究暗示了在該過程中，審查特性並非必然會轉移出處：ModernOrange。換句話說，即使老師模型試圖迴避提供特定資訊，學生模型在學習知識核心的過程中，仍有可能比老師模型產生更自由、更靈活的回答。

現狀：DeepSeek 是什麼樣的模型？

目前 DeepSeek 被歸類為「開放權重（Open weight）」模型出處：Reddit。這意味著模型的結構與已學習過的權重（Weight）皆已公開，任何人都能以此為基礎進行模型研究或修改。

目前已經有許多利用 DeepSeek 製作的衍生模型（例如 DeepSeek-R1-Distill-Llama 等）被開發出來並活躍於使用中出處：GroqDocs。許多開發者在本地電腦執行這些模型，並根據各自的目的進行客製化調整出處：Reddit。

未來會如何發展？

未來將會有更多開發者以大型模型的知識為基礎，製作出高效的小型模型。既然已經確認蒸餾技術有機會脫離審查的束縛，未來不僅不會被特定模型的偏見所困，更能更快速地出現專業且自由的特化型 AI出處：ModernOrange, 出處：YouTube。

MindTickleBytes AI 記者觀點

AI 的審查問題與模型蒸餾是開發者眼中的熱門議題。這項研究展示了在輕量化 AI 時，非預期的特性未必會被複製的技術可能性。這暗示了 AI 不僅僅是傳承知識的工具，更能根據開發者的意圖，演化得更自由且多元。

參考資料

1. Exclusive: Censorship in Chinese AI models can be undone, new research shows
2. Since DeepSeek is open source, can’t we just make a version without the censorship? : r/DeepSeek
3. ShowHN: Distilling DeepSeek into GPT-OSS doesn’t transfer censorship. Try it

4. [Fine Tune DeepSeek R1

   Build a Medical Chatbot - YouTube](https://www.youtube.com/watch?v=qcNmOItRw4U)

5. DeepSeek-R1-Distill-Llama-70B - GroqDocs
6. Did DeepSeek Copy Off Of OpenAI? And What Is Distillation?