AI 代码审查工具之间的分数竞争正在升温,但高基准测试分数并不总是意味着最佳质量。
想象一下:你把你熬夜几天开发出来的应用代码交给 AI,它自信地交出一份成绩单:“Bug 数 0,代码质量完美!”然而,当你运行该应用时,错误频发,界面卡死。到底出了什么问题?近来,AI 在编程领域突飞猛进,各种代码审查工具层出不穷,但用来衡量这些工具水平的“考卷”——基准测试(性能评估标准),反而让开发人员感到困惑。
这为什么重要?
随着 AI 编写的代码越来越多,仔细确认代码是否安全——即“代码审查”(修正代码错误并提高质量的过程)的重要性前所未有地凸显。 参考资料 1 然而,目前还没有统一的考卷来客观评价这些工具的实力。结果就是,每家公司都在制作自己的考题,以证明自己的工具是最好的。 参考资料 1
对开发人员来说,很难判断哪些工具真正擅长捕捉 Bug,如果选择了错误的工具,甚至有损坏项目的风险。设计糟糕的 AI 审查工具甚至会引发“过度修正”问题,将原本正常的代码改得面目全非。 参考资料 6
浅显易懂:成绩单与实际能力的差距
拿学校考试打个比方。如果一个学生只是死记硬背考题模式得了 100 分,你能说他一定能处理好应用题吗?
当前的 AI 代码审查基准测试也类似。 参考资料 2 AI 模型可以通过学习答题模式来像“玩游戏”一样提高分数。这通常被称为“基准测试悖论”。 参考资料 4
此外,以目前的技术,虽然可以确认代码是否“能运行”,但很难做出高层次的设计决策,比如“这段代码是否最适合我们当前的业务架构?” 参考资料 4 这就像厨师用新鲜食材做了菜,而 AI 却说“盐量没错,但盘子太小了”,从而忽略了烹饪的本质风味。
最近出现的一种名为“FrontierCode”的新基准测试改变了提问方向。 参考资料 5 它不再仅仅问“这段代码能否通过测试?”,而是问:“实际工作中的开发人员看到这段代码后,会按下合并(merge,将成果合并到最终源代码中)按钮吗?” 参考资料 5
现状:进展如何?
坦率地说,目前世面上所有的 AI 代码审查工具中,没有一个是完美的。 参考资料 12 没有任何一个工具在准确率和召回率(不遗漏 Bug 的能力)上都达到了 100%。 参考资料 12
如前所述,一些工具在试图查找 Bug 时,会出现“过度修正(overreach)”现象,破坏原本正常的代码。 参考资料 6 为了防止这种情况,像“CodeReviewBench”这样的最新研究建议不再使用过去那种静态考卷,而是通过跟踪开发人员在现场留下的实际代码审查评论,实时确认 AI 的判断是否与现实一致。 参考资料 7
未来会怎样?
未来,比起单纯相信 AI 的成绩单(分数),其实际在开发一线中的实用性将成为核心评价指标。 参考资料 5 AI 会越来越精致,但关于代码整体结构或项目长期方向的最终决定权仍将属于人类。 参考资料 4 未来的开发人员将承担更多的“智慧监督员”角色,不仅要检查 AI 发现的小 Bug,还要思考 AI 建议的设计是否符合团队理念。
AI 的视角
MindTickleBytes 的 AI 记者视角:“让 AI 寻找‘标准答案’的时代正在远去。真正的实力不在于答对题目,而在于在没有标准答案的设计领域中,与人类开发人员进行多么顺畅的沟通。”
参考资料
- GitHub - withmartian/code-review-benchmark
- The Benchmark Results Are In: Which AI Code Reviewer Actually Catches the Most Bugs
-
[CodeReviewBench AI Code Review Benchmark](https://www.codereviewbench.com/) - The Benchmark Paradox: What AI Code Review Scores Actually Mean
- FrontierCode Benchmark Explained: Why AI Coding Quality Matters
- How AI code review can make correct code worse - Imbue
- Code Review Bench: Towards Billion Dollar Benchmarks
- AI Code Review Benchmark
- How Qodo Built a Real-World Benchmark for AI Code Review
- What we learned running the industry’s first AI code review benchmark
- SWE-PRBench: Benchmarking AI Code Review Quality Against Pull Request Feedback
- AI Code Review Benchmark 2026: Precision, Recall, and F1 Results
-
[Introducing FrontierCode Cognition](https://cognition.com/blog/frontier-code) - BestAIModels April 2026: Ranked by Benchmarks
- AI 通过学习基准测试本身来答题
- 分数高就意味着绝对不会产生 Bug
- 所有模型都使用相同的数据
- 查找语法错误
- 代码的架构与设计决策
- 简单的拼写错误修正
- 代码能否运行?
- 维护人员是否会真的合并此代码?
- AI 编写代码的速度有多快?