AI 编程助手,每次失败都变成“吞金兽”?27,280次失败分析

AI 编程代理尝试解决复杂代码问题失败的场景,图表显示成本上升
AI Summary

介绍了一项分析结果:AI 编程代理的频繁失败造成了巨大的资金浪费和调试困难,占总推理成本的 64%。

AI 编程助手,每次失败都变成“吞金兽”?27,280次失败分析

曾被寄予厚望、能够彻底革新开发者生产力的 AI 编程代理,如今却因频繁失败和重试,给企业和开发者带来了意料之外的“成本炸弹”,相关分析结果引发关注。这就好比让一个聪明的同伴去解一道困难的数学题,结果他每次答错不仅不总结,反而一遍又一遍地重复同样的错误,整夜白白浪费纸张。让我们一起来探讨一下,为什么 AI 编程代理的失败成本如此高昂,以及我们该如何解决这个问题。

为什么这很重要?

AI 编程代理具备自动化和加速软件开发过程的巨大潜力。事实上, OpenAI 曾报告称, 编程代理能够提供相当于人类研究员一天工作量达 3.1 天的工作量 来源: OpenAI Reports Coding Agents at 3.1 Workdays per… - GravityDevOps。如果能让 AI 代劳那些重复且枯燥的代码编写工作, 开发者就能将精力集中在更具创造性和高阶的问题解决上。

然而, 光鲜亮丽的愿景背后隐藏着残酷的现实。近期一项针对总共 27,280 次编程代理实际运行过程的精密分析显示, 在总推理成本(AI 生成回答和思考所需的计算机运算成本)中, 竟有高达 64% 的费用花在了运行失败的任务上 来源: In 27,280 coding agent runs, 64% of inference spend went to runs that failed。这绝不仅仅是几次失误那么简单。数以万计的编程代理因网络超时、外部 API 错误或生成语法错误的无效代码而接连受挫, 这些失败如滚雪球般不断膨胀, 悄无声息地吞噬着项目预算。

简单理解:AI 编程代理的“失败困境”

简单来说, 问题在于当 AI 编程代理失败时, 它不会像普通程序那样立即停止。一旦遇到超时、API 错误或生成的代码未通过验证, 代理就会自动进行重试 来源: AI Coding Agent Timeout and Retry Costs: How Failed Runs… - ai-cost-estimator.com。这就好比厨师在按食谱做菜时中途出了错, 不仅不放弃, 反而不断重复同样的错误继续做菜。这种反复的重试在悄无声息却又确凿无疑地蚕食着项目的预算。

试想一下, 在一家预算有限、正在开发应用程序的初创公司里, AI 代理为了整夜修改错误的千百次代码, 最终收到了数百万韩元的云服务账单。通过分析多个大型开源仓库中 1,281 次代理运行的数据, 人们发现这些失败模式中确实存在着 5 种可重复出现的失败模式 来源: Why coding agents fail in large codebases (and what to do… - sourcegraph.com。

更大的问题在于, 这些失败使开发者的调试时间变得更加复杂。因为基于大语言模型(LLM, Large Language Model)的编程代理失败的方式对于开发者来说很难理解和调试。代理所生成的原始执行痕迹(raw execution traces)有时连经验丰富的开发人员都很难解读 来源: XAI for Coding Agent Failures: Transforming Raw Execution… - arxiv.org。这就好比为了在缠绕着数千根电线的庞大机器中找到一根故障电线, 必须去解读复杂的电路图一样。

现状:控制与验证的重要性

目前, 业界涌现出了各种 AI 编程代理解决方案。例如, 由 MoonMath.ai 推出的 “Zro” 为编程代理提供私有 AI 推理服务, 帮助以合理的定价控制推理成本 [来源: Zro by MoonMath.ai Private AI Inference for Coding Agents](https://zro.moonmath.ai/)。此外, 通过利用 Ollama 等开源模型运行工具, 开发者可以在本地环境中直接启动 AI 代理, 并安全地实验网页浏览或记忆存储(RAG 内存)等功能 来源: Unlimited AI Agents running locally with Ollama… - YouTube。

尽管如此, 技术的本质挑战依然没有改变。成败的关键在于:我们能否对代理进行严格的控制(Control)以防其行为失常或迷失方向, 并对其结果进行彻底的验证(Verification)。OpenAI 曾在运营编码代理时总结出这几个核心要素 来源: OpenAI Reports Coding Agents at 3.1 Workdays per… - GravityDevOps。

当 AI 代理长时间执行大规模任务时, 由于所选模型不同会产生连锁反应, 使得局势更加难以掌控 来源: Interactive benchmarks: evaluating model routing for AI agents。因此, 一些领先的系统开始将每个代理的工作区完全隔离在容器(虚拟运行环境)中, 并严格限制允许的代理轮次(AI 思考与交互的次数)和超时时间来筑牢防线 来源: zai-org/GLM-5.3 · Hugging Face。

未来会怎样?

AI 编程代理的失败 비용 문제를 해결하기 위해서는 몇 가지 기술적 및 운영적 방향으로 나아갈 수 있습니다.

首先, 是能够透明诊断失败真实原因的可解释人工智能(XAI, Explainable AI)技术的发展 来源: XAI for Coding Agent Failures: Transforming Raw Execution… - arxiv.org。需要建立系统帮助开发者更轻松地理解并调试代理为何中途迷失方向—

参考资料

  • [Source 1] In 27,280 coding agent runs, 64% of inference spend went to runs that failed - https://runta.com/blog/introducing-frontierharness-eval-v1-1/
  • [Source 2] Zro by MoonMath.ai Private AI Inference for Coding Agents - https://zro.moonmath.ai/
  • [Source 3] Unlimited AI Agents running locally with Ollama… - YouTube - https://www.youtube.com/watch?v=4UFrVvy7VlA
  • [Source 5] Interactive benchmarks: evaluating model routing for AI agents - https://www.notdiamond.ai/blog/interactive-benchmarks-a-new-methodology-for-evaluating-model-routing?trk=public_post_comment-text
  • [Source 6] OpenAI Reports Coding Agents at 3.1 Workdays per… - GravityDevOps - https://gravitydevops.com/daily-openai-research-agent-operations/
  • [Source 7] zai-org/GLM-5.3 · Hugging Face - https://huggingface.co/zai-org/GLM-5.3
  • [Source 11] XAI for Coding Agent Failures: Transforming Raw Execution… - arxiv.org - https://arxiv.org/html/2603.05941v1
  • [Source 13] AI Coding Agent Timeout and Retry Costs: How Failed Runs… - ai-cost-estimator.com - https://ai-cost-estimator.com/blog/ai-coding-agent-timeout-retry-costs-failed-runs-budget
  • [Source 14] Benchmarking inference at scale: coding agents - together.ai - https://www.together.ai/blog/coding-agent-benchmarks
  • [Source 15] Why coding agents fail in large codebases (and what to do… - sourcegraph.com - https://sourcegraph.com/blog/why-coding-agents-fail-large-codebases
  • [Source 16] AICodingCost & Token Usage Tracker for ClaudeCode… CodeBurn - https://codeburn.app/
AD
测试你的理解
Q1. 在 AI 编程代理运行过程中,占比最大的成本是什么?
  • 成功完成任务
  • 模型训练与调优
  • 失败的运行及重试
对 27,280 次编程代理运行的分析表明,失败的运行占总推理成本的 64%。这是因为对失败任务的重试大幅增加了成本。
Q2. 当 AI 编程代理失败时,开发者面临的困难是什么?
  • 代码理解度增加
  • 降低成本的效果
  • 调试困难与成本激增
AI 编程代理的失败会留下难以理解的执行痕迹,使调试变得复杂,并通过反复重试导致成本呈指数级增长。
Q3. 关于 AI 编程代理的潜在效率,OpenAI 的报告内容是什么?
  • 比人类开发人员高效 10 倍
  • 为研究工作提供相当于 3.1 个工作量的数据
  • 失败率低,几乎不产生费用
OpenAI 报告称,编程代理可提供相当于人类研究员一天工作量 3.1 倍的工作量。然而,这种效率可能会受到失败导致的成本和控制问题的制约。