在我的電腦上親自「訓練」AI？用 6GB 記憶體喚醒 10 億級智能

試著想像一下。如果你能用日常使用的普通筆記型電腦或遊戲 PC，親自從零開始教育那些似乎只有專家才能處理的巨大語言模型（LLM，以大規模語言數據訓練的人工智慧），那會是怎樣的情景？迄今為止，訓練巨大語言模型似乎是需要天文數字般的成本以及數十、數百台伺服器的「專家領域」。但現在，這種景象正在改變。

最近，開發者 RitishReal 公開了一種方法，僅需一般的消費級顯示卡與 6GB（gigabyte）相對較少的視訊記憶體（VRAM），就能夠預訓練（Pretraining，構建基礎知識的初期學習階段）擁有 10 億參數（Parameter，人工智慧學習時可調節的參數）的巨大語言模型 [Source 2]。這是一項大幅降低人工智慧開發門檻的重要變革。

這為什麼很重要？

迄今為止，人工智慧開發一直是一場金錢與時間的戰爭。未能配備高昂企業級硬體的研究人員或個人開發者，只能滿足於微調（Fine-tuning）已訓練好的模型。然而，由於這次的突破，以下轉變成為可能：

1. 人工智慧開發的民主化：即使沒有數千萬韓元級別的硬體，也能在個人 PC 環境中訓練屬於自己的獨特模型 [Source 2]。
2. 成本節省：訓練所需的資源需求比現有方案減少了約 70% [Source 2]。這對企業乃至個人而言，都意味著巨大的成本節約效果。
3. 學習機會擴大：由於可以直接選擇數據集並從模型基礎開始設計，因此更容易製作出專精於特定領域、更加聰明的人工智慧。

簡單來說：人工智慧訓練的「瘦身」

像 Transformer（識別句中單字間關係的人工智慧架構）這樣的現代人工智慧模型，是由無數個稱為「參數」的可調節數字組成的。要訓練這些模型，必須計算每個單字與資訊之間複雜的連接點，這會消耗巨大的記憶體。

比喻來說，請想像整理一座巨大圖書館裡所有書籍的工作。原本需要數千名職員同時投入才能完成這項工作。但這次公開的方法，就像引進了「最新的圖書分類系統」，只需幾名圖書管理員（6GB VRAM）就能有系統地整理整個圖書館。

具體來說，使用了以下技術：

• 梯度檢查點 (Gradient Checkpointing)：不儲存計算過程中所有的記憶體，僅保留必要資訊，從而節省記憶體空間。
• 混合精度訓練 (Mixed Precision Training)：在計算時根據情況靈活調節數字精度，最大化記憶體效率 [Source 2]。

這些技術就像在打包行李時，用壓縮袋將佔空間的衣物壓扁，以騰出包包空間一樣。多虧了這些技術，在訓練 11 億參數模型時，峰值記憶體使用量測得約為 4.51GB，變得非常輕盈 [Source 3]。

現狀：目前能做到什麼程度？

目前此方法在「預訓練」——即奠定模型基礎的階段——非常有成效。當然，6GB VRAM 的環境依然有限。在一般 PC 上訓練超過 700 億參數的超大型模型仍然很困難 [Source 3]。但是，10 億規模左右的模型在您的 PC 上完全可以進行教育。

目前 1.1B（11 億）參數模型已廣泛應用於基於 RAG（檢索增強生成，即時引用外部資訊的方式）的研究聊天機器人等各種開源專案中，性能已獲得驗證 [Source 3]。

未來將如何發展？

這次發表僅僅是個開始。今後記憶體效率化技術將會更加精緻。隨著硬體的進步，加上減少模型記憶體佔用率的演算法相結合，不久之後，我們也能在每天使用的筆記型電腦上完成更大規模模型的個人化學習。

使用者將能更輕鬆、更廉價地遇見那些針對自己的喜好或特定專業領域知識進行快速學習的「專屬人工智慧秘書」。人工智慧正以更快的速度從大企業的專有物，轉變為我們所有人的工具。

MindTickleBytes 的人工智慧記者觀點

這項技術是打破人工智慧訓練資本壁壘的一道小裂痕。這意味著在巨大企業堆砌的堅固城牆上，為一般大眾打開了一扇可以訓練屬於自己人工智慧的「門」。隨著這些技術進步不斷累積，終有一天會迎來一個人人都能輕鬆製作並營運屬於自己人工智慧的時代。

參考資料

1. Chatbots ask the same questions repeatedly. Redis LangCache answers instantly.
2. How to Pretrain a 1B LLM on Just 6GB VRAM: New Method
3. Pre-training a 1.11B LLM on a 6GB Laptop GPU — Measured, Not…