權重空間程式設計(WSP)是一種創新的方法,AI 無需經歷學習循環或梯度下降,便能直接分析並像編寫程式碼一樣修改其他人事工神經網路的內部權重。
想像一下,汽車引擎故障時,技師不用讓汽車跑數月來反覆試驗「這樣開,那樣開」,而是能直接檢視引擎的精密齒輪與零件藍圖,並立刻用工具進行調整來修復問題,那會是怎樣的場景?
在過去,這在人工智慧(AI)的世界裡是不可能的。人工神經網路(Artificial Neural Network)是一個由數百萬甚至數兆個數字組成的龐大「黑盒子」,其內部連接的權重(weights,AI 學習過程中調整的微小數值)無論是人類或 AI,都極難直接打開查看和修改。要修復模型或提升性能,總是需要經過耗時的「訓練(Training)」過程,並消耗海量數據。
然而,最近 AI 研究領域出現了一種徹底顛覆此一長期觀念的創新方法:權重空間程式設計(Weight-Space Programming, WSP)。這項技術讓大型語言模型(LLM,作為對話式 AI 的基礎)能夠像 1990 年代的學術研究者一樣,直接讀取人工神經網路未經處理(raw)的權重數據,解析其意義,然後像修改程式碼一樣直接進行修改 [Source 1, Source 2, Source 4]。
這為何如此重要?
AI 如今已活躍於我們日常生活的各個面向,如智慧型手機、搜尋、翻譯與創作等。然而,隨著 AI 的發展,開發者與研究者面臨的最大障礙一直是「不透明性」。
要精確理解人工神經網路為何做出特定決策,或為何在出現小缺陷時發生錯誤,就必須深入探究數百萬個浮點數(floating-point,帶有小數點的實數)組成的龐大海洋 [Source 6]。數十年來,神經網路權重一直被視為人類或 AI 無法企及的堡壘,難以直接查看和操作 [Source 6]。
若權重空間程式設計得以普及,人工智慧的開發範式將徹底改變。未來無需熬夜數日、從頭開始重新訓練模型,即可新增功能或修復 Bug。AI 將能像程式設計師打開記事本修改原始碼一樣,直接開啟其他 AI 的內部迴路,修正錯誤或添加新功能。這項技術蘊藏著將 AI 發展速度提升數十倍的潛力。
輕鬆理解:1990 年代的工程師與大腦迴路手術
這樣思考便能輕鬆理解:
簡單來說,傳統的深度學習(Deep Learning,模仿人類大腦神經網路的機器學習技術)就像是訓練狗狗學習技能。狗狗做出期望的行為時給予零食(獎勵),做出錯誤行為時加以糾正(梯度下降與學習循環),並重複數千次訓練。人類無法直接檢視和改變狗狗大腦的神經元連接方式,只能透過重複學習來矯正其行為。
相對地,權重空間程式設計(WSP)則像是 1990 年代的電子工程師,手持電烙鐵和電路圖(Schematic),直接查看電腦主機內部的焊接點進行維修。工程師精確理解電路的結構和訊號流動,因此能夠直接斷開或連接電晶體或電阻,即時實現所需功能。
近期研究顯示,先進的大型語言模型(LLM)正開始扮演這種 1990 年代工程師的角色,利用 Python 核心等工具,或直接讀取原始權重數據,來執行這些任務 [Source 4]。LLM 現在不僅能理解原始碼,更能以原生方式理解和操作其他人工神經網路的權重陣列,猶如一種程式語言 [Source 4]。
現況:發展到哪個階段了?
這項創新不僅停留在理論層面。近期,開源社群和學術界紛紛發表令人驚豔的實驗,證明了權重空間程式設計的潛力。
一個最典型的例子是 MIT 的研究項目,該項目利用了 OpenAI 的 Astra 等代理模型 [Source 14]。這項研究展示了 AI 分析人工神經網路權重、反向設計其內部迴路、直接修復現有模型,甚至從頭開始生成新的人工神經網路的能力 [Source 14]。
另一個重要里程碑是眾多研究人員參與的論文「Sparks of Weight-Space Programming」[Source 16]。該研究由 Takehi、Teoh、Zhang 和 Khattab 等人主導,系統性地探討了語言模型在無需額外訓練的情況下,是否能夠讀取和編輯原始權重 [Source 16]。他們以七種不同的基準測試和兩個模型為基礎,嚴謹地調查了十六種權重修改路徑(editing trajectories),分析了 WSP 的潛力和侷限性 [Source 7]。
事實上,這些實驗的成果已透過 Hugging Face 等平台進行分享。例如,Qwen3.5-0.8B-weight-space-programming 模型就是一個實驗性模型,完全沒有經過傳統學習循環,而是由 LLM 直接編輯權重後公開,引起了研究人員的廣泛關注 [Source 13]。
侷限與挑戰
當然,權重空間程式設計並非萬靈丹。作為一項新興技術,它仍面臨著許多待解決的難題和侷限。
其中一個典型的驗證案例是,一個獨立研究團隊嘗試將 Astra 創建的經典遊戲「Breakout」的網路權重,傳遞給另外兩個模型 [Source 21]。研究團隊向模型提供了遊戲規則、原始碼和輸入輸出佈局,要求它們將權重轉換回 Python 程式碼 [Source 21]。結果出乎意料:收到權重的模型在完全理解其含義並執行或模擬遊戲方面,表現出了局限性 [Source 21]。
這意味著,AI「讀寫權重」的能力,與 100% 模擬並完美控制這些修改後的龐大網路的動態行為之間,仍然存在差距。WSP 為基於代理的替代模型適應(model adaptation)提供了一種強大的手段 [Source 7],但其跨模型泛化能力和實際應用中的侷限性,仍有待進一步釐清 [Source 7]。
未來展望
權重空間程式設計為人工智慧的自我演化開啟了新的維度。
在可預見的未來,工程師或許不再需要收集數百萬份數據集,並在雲端伺服器上花費數天進行模型微調(Fine-tuning)。取而代之的是,智慧型代理能夠瞬間打開模型的權重檔案,直接修補帶有 Bug 的神經元層,並僅透過權重操作,在幾秒鐘內植入使用者所需的客製化功能。
這是一個將人工神經網路從難以捉摸的黑盒子,轉變為 AI 可以自由讀寫的透明程式碼的時代——這正是權重空間程式設計所將引發的巨變,值得我們密切關注。
參考資料
- Weight-Space Programming builds neural networks like a 1990s researcher
- Weight-space programming - Wikipedia
- Sparks of Weight-Space Programming: LLMs can natively read …
- Sparks of Weight-Space Programming — Complete Reproduction …
- Exploring Weight-Space Programming: Capabilities …
- RikiyaT/Qwen3.5-0.8B-weight-space-programming· Hugging Face
- The Black Box of AI May Have Just Been Cracked? - YouTube
- LLMs Can Now Read and Write Neural Network Weights- YouTube
-
[A Second Lab Checked Whether a Language Model… ALLATRA Media](https://allatra.media/ai-tech/ai-tech-weight-space-replication)
- LLM 不經由梯度下降與大規模資料學習循環,直接讀寫權重
- 僅使用傳統的規則式編碼,而非人工神經網路
- 僅能在智慧型手機上執行,無需電腦顯示卡
- 分析神經網路權重與反向設計內部迴路
- 修復現有模型與生成新的神經網路
- 僅憑一份完成的權重檔案,確保其他模型能立即完美模擬遊戲
- 對人類和 AI 都可直接讀寫的開源文字檔案
- 數百萬個難以供人類或 AI 直接讀寫的布林(boolean)開關
- 數百萬個難以供任何人直接讀寫的不透明浮點數(floating-point)陣列