AI 如何猜透我們的「心思」？專為自我學習 AI 打造的全新測試平台

想像一下。假設你是一家頂級米其林三星餐廳新上任的主廚。這家餐廳有一位非常挑剔，且絕對不會把心思表露出來的傳奇美食評論家會定期光顧。這位評論家絕對不會直接告訴你他喜歡什麼味道、該放多少鹽，或是偏好什麼香料。

你唯一能做的方法，就是親自做一道料理端給他品嚐。但有一個問題。因為餐廳的財務狀況，能請評論家評估的機會被限制在短短五次以內。在這五次機會裡，你必須稍微改變菜單，並觀察他的反應：「這個太鹹了嗎？」、「您喜歡這個嗎？」。然後在第六次，你必須端出百分之百完美符合評論家口味的頂級晚宴，才能保住餐廳的星星。

僅憑五次回饋，就要反推並做出一份從未見過的完美食譜的過程。這正是我們今天要探討的最新人工智慧技術的核心，也是機器學習真正「察言觀色」的方法。

為什麼這很重要？（Why It Matters）

最近在人工智慧領域中，已經超越了單純的聊天機器人（Chatbot），開啟了能自主判斷情況並採取行動的「代理（Agent）」時代。如果說過去的 AI 是我們提問就會回答的「聰明百科全書」，那麼代理就截然不同了。簡單來說，如果你說「我明天要去巴黎出張，幫我排一下行程並把機票訂好」，它就會自己上網搜尋、比較預算，做出最佳選擇甚至完成付款，就像是一個「主動的助理」。

實際上，在 2023 年全球性的人工智慧學術會議「神經資訊處理系統大會（NeurIPS）」中，基於大型語言模型（LLM）的自主代理（Autonomous Agents）作為核心主題受到了極大的關注 [[NeurIPS 2023] 基於大型語言模型的自主代理 (Large Language Model-based Autonomous Agents) - LG AI Research BLOG](https://www.lgresearch.ai/blog/view?seq=393)。

現在，AI 代理不僅僅超越了人類日常助理的角色，更進入了高度的科學研究領域。根據最新研究，最新的 LLM 基礎科學代理開始能夠自主建立假說、設計實驗、分析龐大數據並進行模擬，甚至將極度複雜的科學發現過程自動化 [[2503.24047] 邁向科學智慧：基於 LLM 的科學代理綜述](https://arxiv.org/abs/2503.24047)。此外，也有人建立了一個巨大的實驗環境，聚集了數千個虛擬 AI 代理來模擬人類社會的行為模式 [AgentSociety：由 LLM 驅動之生成代理的大規模模擬促進了對人類行為與社會的理解](https://arxiv.org/html/2502.08691v1)。

然而，這裡出現了一個非常致命的問題。那就是「到底該如何評估這個 AI 代理是否真的做得好、有多聰明？」。

過去只要讓 AI 解答數學題或選擇題然後打分數就可以了。因為 1 加 1 等於 2 有明確的正確答案。但是，評估會自主行動的代理則是完全不同層次的故事。這就像是評估新進員工的工作能力一樣，往往沒有單一的標準答案 [[2503.16416] 基於 LLM 的代理評估綜述](https://arxiv.org/abs/2503.16416)。我們迫切需要一個精密的測試平台，能夠測量 AI 在人類模糊的品味、瞬息萬變的複雜現實世界中，能多快速且準確地掌握使用者的「真實意圖」。

淺顯易懂的解釋（The Explainer）

為了決解這種評估的困難，AI 研究人員構思出了一個全新的巧妙測試環境。那就是「逆向評分標準最佳化（Inverse Rubric Optimization，以下簡稱 IRO）」 [Inverse Rubric Optimization：代理科學的測試平台](https://fulcrum.inc/2026/06/09/inverse-rubric-optimization.html)。雖然名字看起來有些學術且複雜，但只要回想一下文章開頭提到的「主廚與挑剔的美食評論家」的情境，就很容易理解了。

打個比方，這項技術可以說是為了訓練和評估 AI 所設計的虛擬障礙賽道。我們將把這項技術分成三個核心概念來一一剖析。

1. 黑盒子評審（Black-box Judge）

在資訊工程中，「黑盒子（Black-box）」是指完全看不見內部結構長什麼樣子的黑箱。把東西放進去雖然會產出結果，但根本不知道裡面是透過什麼標準和計算才得出那個結果的狀態。在 IRO 測試環境中，AI 代理完全不知道自己需要達成的最終目標或規則（評分標準）。這個向代理隱藏正確答案的挑剔存在，就被稱為「黑盒子評審」 [Inverse Rubric Optimization：代理科學的測試平台](https://vuink.com/post/shypehz-d-dvap/2026/06/09/inverse-rubric-optimization-d-dhtml)。這就像是絕對不告訴主廚食譜，只會簡短地說「嗯，這個香味不太行」、「這個口感好一點」的評論家一樣。

2. 標籤預算（Label Budget）

如果代理可以無限制地提問並重複失敗，最終一定能找出某人的偏好。但在現實中，我們不會讓助理重複做一百次、一千次同樣的事情並一直等待。存在著金錢與時間的明確限制。為了模仿這一點，IRO 對代理施加了名為「標籤預算（Label Budget）」的嚴格限制 [逆向評分標準最佳化：智慧體科學的測試平台](https://memedata.com/post/125636)。簡單來說，就是代理能問評審自己做出的行動是對是錯（正確答案標籤）的代幣數量是固定的。就像主廚只有 5 次端出料理的機會一樣。如何有效率地使用有限的預算，才是代理的真正實力。

3. 逆向推論（Inverse Optimization）

一般的正向最佳化是給予「加 10g 鹽，肉烤三分熟（Medium Rare）」這樣明確的指示（Rubric），然後確認其遵循得多好。相反地，「逆向（Inverse）」則是先看結果（評論家的回饋），然後倒過來推論原因（隱藏的食譜與偏好）的過程。

讓我們用汽車產業來比喻。IRO 就像是開發新飛機或汽車時，極限測試風阻的「風洞實驗室（Wind Tunnel）」，或者是驗證自動駕駛汽車安全性的「冰面障礙物行駛賽道」。汽車引擎就算能輸出 1,000 匹馬力，如果在冰面上無法及時煞車也是白搭；同樣地，語言模型的知識就算再怎麼豐富，如果在有限的機會裡無法掌握人類隱藏的意圖，也無法成為優秀的助理（代理）。IRO 就是一個專門測試這種「狀況掌握能力」的訓練場。

現狀發展（Where We Stand）

這個充滿魅力且具挑戰性的概念，是由 zef、leni、kaivu、rohuang 等四位研究人員體系化並向學界提出的 [Inverse Rubric Optimization：代理科學的測試平台 ...](https://www.lesswrong.com/posts/uSighG5zWbmtBembc/inverse-rubric-optimization-a-testbed-for-agent-science)。他們觀察到，IRO 環境不僅僅是單純測試代理現在的實力，更將成為從根本上發展代理科學（Agent Science）本身的絕佳基礎。

研究團隊將 IRO 視為最佳測試平台（實驗環境）的原因主要有兩個。

第一，IRO 能從 AI 代理身上引導出「豐富的行為（Rich behavior）」 [Inverse Rubric Optimization：代理科學的測試平台](https://fulcrum.inc/2026/06/09/inverse-rubric-optimization.html)。不同於單純猜 A 或 B 的選擇題，在預算有限的情況下要讀懂評審的心思，AI 必須做出高度戰略性的選擇。這會自然而然地展現出如「第一個問題先問最廣泛的範圍，第二個問題再縮小到細部」等複雜且具創造力的問題解決能力。這意味著機器已經開始像人類一樣制定戰略。

第二，IRO 展現了「平滑的擴展性（Smooth scaling）」 [Inverse Rubric Optimization：代理科學的測試平台](https://vuink.com/post/shypehz-d-dvap/2026/06/09/inverse-rubric-optimization-d-dhtml)。舉我們常玩的遊戲為例吧？從第 1 關到第 100 關，難度像階梯一樣平滑上升的遊戲，可以讓從新手到老手都能不放棄地享受其中。相反地，難度突然瘋狂飆升的遊戲則不會獲得好評。IRO 測試環境也是如此。從非常基礎的 AI 到未來即將登場的超高度人工智慧，它擁有一個非常穩定的評估結構，能根據其能力值平滑且一致地測量出成果。

令人驚訝的是，作為所有實驗骨幹的核心程式碼，已經透明地公開在開源平台 GitHub 的「fulcrumresearch/iro」儲存庫中，讓全世界任何人都能閱覽與使用 [GitHub - fulcrumresearch/iro](https://github.com/fulcrumresearch/iro)。多虧了這個盡可能輕量且簡潔編寫的代碼庫，全世界無數的 AI 科學家與企業開發者，都能帶上自己的 AI 代理，在這個嚴苛且精密的「黑盒子評審」面前自由地進行測試。

未來展望（What’s Next）

未來 AI 技術的發展方向很明確。就是在將人類介入降到最低的同時，將能夠自主妥善處理工作的「自主型代理」的完整度最大化。而衡量這份聰明才智的標準，現在已經完全從「記住了多少知識」轉移到了「能否僅憑少量的提示，就準確掌握使用者隱藏的意圖」。

在這股巨大的洪流中，像 IRO（逆向評分標準最佳化）這樣精密且動態的評估環境，將成為讓代理科學躍升一個層次的重要里程碑。在不久的將來，我們新買的智慧型手機中的 AI 助理，或是企業引進的業務自動化機器人，在出廠前都將經過這個「IRO 風洞實驗室」，接受激烈的訓練來培養察言觀色的人類敏銳度。

過去那種得問十次問題才勉強猜出我的心思、令人感到鬱悶的聊天機器人即將走入歷史。只要一兩次簡短的對話就能讀懂你的心思：「啊，這次出差您比較需要休息對吧？幫您預訂可以看到海景的安靜飯店好嗎？」，能夠遇到這種真正智慧助理的日子，已經離我們越來越近了。

AI 觀點（AI’s Take）

MindTickleBytes AI 記者觀點： 讀懂人心並掌握隱藏意圖，對機器來說或許就像是解答世界上最難的數學題一樣。因為人類的語言中總是夾雜著被省略的脈絡與微妙的情感。

如果說至今為止的 AI 是靠著死記硬背龐大數據而變聰明的「模範生」，那麼現在正是要蛻變成為能在現實的模糊中找出最佳答案的「有Sense的實務工作者」的時刻。IRO 將超越單純的指令執行，成為誕生具備察言觀色與敏銳直覺的真正 AI 助理的絕佳、最嚴格的訓練場。這項在有限機會中逆推人類心思的技術，最終會不會成為讓機器與人類溝通變得最自然、最完美的鑰匙呢？

參考資料

1. [Inverse Rubric Optimization：代理科學的測試平台](https://fulcrum.inc/2026/06/09/inverse-rubric-optimization.html)
2. [Inverse Rubric Optimization：代理科學的測試平台](https://vuink.com/post/shypehz-d-dvap/2026/06/09/inverse-rubric-optimization-d-dhtml)
3. [Inverse Rubric Optimization：代理科學的測試平台 ...](https://www.lesswrong.com/posts/uSighG5zWbmtBembc/inverse-rubric-optimization-a-testbed-for-agent-science)
4. [GitHub - fulcrumresearch/iro](https://github.com/fulcrumresearch/iro)
5. [[2503.16416] 基於 LLM 的代理評估綜述](https://arxiv.org/abs/2503.16416)
6. [AgentSociety：由 LLM 驅動之生成代理的大規模模擬促進了對人類行為與社會的理解](https://arxiv.org/html/2502.08691v1)
7. [[NeurIPS 2023] 基於大型語言模型的自主代理 (Large Language Model-based Autonomous Agents) - LG AI Research BLOG](https://www.lgresearch.ai/blog/view?seq=393)
8. [[2503.24047] 邁向科學智慧：基於 LLM 的科學代理綜述](https://arxiv.org/abs/2503.24047)
9. [逆向評分標準最佳化：智慧體科學的測試平台](https://memedata.com/post/125636)