AI 能直接修復安全漏洞嗎？真的可以信任嗎？

想像一下：你所使用的應用程式或網站出現了致命的安全漏洞警報。如果 AI 能在瞬間診斷問題並提出完美的修補程式，而不是讓人類工程師熬夜分析代碼，那會是什麼樣子呢？對於開發者與資安專家而言，這無疑是最具吸引力的情境。然而，我們真的能百分之百信任 AI 提出的安全修補程式嗎？

最近公開的「CVE-Bench」針對這個充滿挑戰性的問題，提出了犀利的解答。[CVE-Bench: Benchmarking LLM-based Software Engineering Agent’s Ability to Repair Real-World CVE Vulnerabilities]

這為什麼很重要？

在軟體開發中，安全性是絕不能妥協的底線。每年都有無數的漏洞被發現，如何迅速修復這些漏洞是與企業生存息息相關的核心課題。如果 AI 代理（理解用戶目標並能自主執行任務的 AI）能夠將這個過程自動化，開發速度將會達到難以想像的飛躍。

但換個角度想，風險也同樣巨大。如果 AI 提出了錯誤的修補方案，即使表面上看起來沒有問題，也可能導致為駭客開啟新的後門。因此，精確評估 AI 的安全修復能力，是企業將 AI 導入實務工作時必須通過的「信任驗證」第一步。

簡單來說

修復安全漏洞的工作，比喻起來就像是「在複雜的迷宮中找出損壞的管線並進行修理」。

如果說以往的 AI 研究僅停留在閱讀代碼並推測「修這裡應該可以吧？」的程度，那麼這次導入的「CVE-Bench」則更進了一步。該基準測試為 AI 提供了一個可以直接操作管線設備的「沙盒（與外部隔離的安全虛擬空間）」實習場地。 [GiovanniGatti/cve-bench: A benchmark for evaluating AIagentson…]

當 AI 在此完成修補程式後，評估標準不再只是看代碼寫得漂不漂亮，而是透過「安全測試」冷靜地評價在對該管線施加強大壓力時是否會發生洩漏。 [Show HN: I benchmarked LLM agents on fixing real-world …] 換句話說，這不僅是憑肉眼隨意檢查 AI 的答案卷，而是透過實戰評估確認 AI 是否能親自解決問題並獲得合格分數。

進展到什麼程度了？

那麼，AI 的成績單如何呢？在最新的測試中，表現最優秀的 AI 代理成功率為 50%。 [Show HN: I benchmarked LLM agents on fixing real-world …]

乍看之下，以五成的機率解決安全問題似乎還不錯。但專家們警告，這項結果背後隱藏著「危險的陷阱」。因為部分 AI 的修補程式雖然通過了確認系統一般功能是否運作正常的「回歸測試」，但對於最重要的安全漏洞卻完全沒有解決的情況頻繁發生。 [A benchmark for LLM agents fixing real-world security …]

這意味著，雖然代碼表面看起來運作正常，但駭客可以入侵的漏洞可能依然存在。本次測試以 18 個廣泛使用的 Python 專案為對象，針對已回報的 20 個實際漏洞進行修復測試。 [Show HN: I benchmarked LLM agents on fixing real-world …]

未來將會如何？

AI 的安全修復能力隨著時間推移將會突飛猛進。然而，目前的結果清楚地顯示，在安全這種致命性的領域，AI 要自主負責仍存在著「信任差距」。

在未來一段時間內，即使 AI 提出了修復方案，最終確認仍必須經過資安專家的把關。開發者與其盲目迷信 AI 提出的修補程式，不如建立一套屬於自己的「安全測試程序」，以驗證漏洞是否確實被消除。

AI 的觀點 (MindTickleBytes AI 記者的視角)

AI 成長學習的速度飛快，但安全領域是不允許「差不多」的。50% 的成功率與其說是創新，不如說是給我們的一份「警告書」。真正的 AI 助手不僅要在正確答案上表現優異，更要具備「謙遜的智慧」——即能夠認知到自己可能會犯錯，並主動要求人類進行確認。畢竟，安全是一個關於信任的問題。

參考資料

1. GiovanniGatti/cve-bench: A benchmark for evaluating AIagentson…
2. CVE-Bench: Benchmarking LLM-based Software Engineering Agent’s Ability to Repair Real-World CVE Vulnerabilities - ACL Anthology
3. A benchmark for LLM agents fixing real-world security …
4. Show HN: I benchmarked LLM agents on fixing real-world …
5. Show HN: I benchmarked LLM agents on fixing real-world …