如何讓 AI 解決難題？「永不放棄」的學習秘訣

試想一下，當你在寫數學作業時，遇到一道難題，即便嘗試了 100 次也無法接近正確答案。老師又不給你答案，只說「再繼續思考看看」。如果這種情況持續發生，我們大概會想放棄這份作業。

令人驚訝的是，AI（人工智慧）模型也常遇到同樣的處境。當 AI 使用「強化學習（Reinforcement Learning，透過獎勵來訓練模型的方法）」這種學習新知識的方式時，如果問題太過困難，AI 可能連一次正確答案都找不到。既然從未見過正確答案，自然也無從學習什麼才是正確的行為。最近，為了克服這個問題，一種讓 AI 能「永不放棄（Never Give Up）」的學習法隨之問世。

為何這很重要？

如果我們想讓使用的 AI 聊天機器人更擅長邏輯推理或複雜的程式碼撰寫，AI 也需要像人類一樣，具備自行克服「難題」的經驗。然而，在目前的強化學習方式下，只要題目難度稍微提升，AI 就很容易感到挫折（正確率為 0%）[出處：POPE: Learning to Reason on Hard Problems]。

這項研究旨在設計讓 AI 在找到正確答案前，能夠持續不斷地挑戰。這不僅是提升 AI 智慧的關鍵，更是一個重大突破，讓我們在日常生活中能將更複雜、更重要的任務交給 AI 處理。

輕鬆理解

為了理解這種學習法，我們以比喻方式說明兩個核心方式。

第一種是 「NGU (Never Give Up)」 學習方式。簡單來說，這是一個能讓 AI 在處理難題時，不輕易放棄並持續嘗試多次，直到得出正確答案為止的系統 [出處：Learning to Solve Hard Problems in RL for LLMs by Never Giving Up]。 舉例來說，簡單的問題只需要嘗試一兩次就能得到正解，但困難的問題可能需要嘗試數十次才能勉強接近答案。NGU 能協助 AI 快速跳過簡單問題，並將更多運算資源集中在困難問題上，直到解開題目為止 [出處：Learning to Solve Hard Problems in RL for LLMs by Never Giving Up]。

第二種是 「ReGFT (Reference-Guided Fine-Tuning)」 方式。這就像數學老師不是直接給你全部答案，而是解開題目的 80%，剩下的部分引導學生（AI）自行思考並解出 [出處：Learn Hard Problems During RL with Reference Guided Fine-tuning]。AI 會根據給予的提示，運用自身的邏輯抵達最後的答案。透過這個過程，AI 培養出自行解決難題的「思維肌肉」[出處：How to Explore to Scale RL Training of LLMs on Hard Problems?]。

當前狀況

目前在 AI 業界，強化學習主要活躍於「正確答案明確」的領域，如數學題或程式碼撰寫 [出處：How I Learned RL for LLMs]。隨著 NGU 或 ReGFT 等技術的出現， AI 現在也能在正確答案不明確的領域（如創意寫作或複雜決策問題）自行進行學習 [出處：Learning to Solve Hard Problems in RL for LLMs by Never Giving Up]。

不過，由於 AI 為了克服難題而集中運算資源，學習成本可能會隨之增加，這是未來仍須克服的課題 [出處：Learning to Solve Hard Problems in RL for LLMs by Never Giving Up]。

未來發展如何？

未來，AI 將不僅僅是背誦資料，我們預期能「思考的 AI」時代將加速到來——這類 AI 能自行制定策略並在經歷挫折後不斷學習。特別是在盡可能減少人類協助（提示）的情況下，AI 解決高難度問題的能力將大幅提升 [出處：Learning to Solve Hard Problems in RL for LLMs by Never Giving Up]。未來你所遇見的 AI，或許會比昨天更加堅毅、更具邏輯性。

AI 的觀點

MindTickleBytes 的 AI 記者觀點：「這顯示出對於 AI 而言，『練習尋找答案的過程』遠比『直接告訴它答案』更具價值。人類教育與 AI 學習，最終正朝著相同的原理前進。」

參考資料

1. Learning to Solve Hard Problems in RL for LLMs by Never Giving Up
2. Learning to Solve Hard Problems in RL for LLMs by Never Giving Up (HTML version)
3. How to Explore to Scale RL Training of LLMs on Hard Problems?
4. Learn Hard Problems During RL with Reference Guided Fine-tuning
5. How I Learned RL for LLMs: A Researcher’s Detour in Five Parts
6. Learning to Solve Hard Problems in RL for LLMs by Never Giving Up (HuggingFace)
7. Learning to Solve Hard Problems in RL for LLMs by Never Giving Up (AlphaXiv)
8. POPE: Learning to Reason on Hard Problems