本文探讨了将 AI 代理的记忆问题视为一种系统设计问题而非单纯存储问题的全新方法论——“智能上下文管理 (ACM)”,该方法旨在管理信息的全生命周期。
想象一下:你请了一位能干的秘书,让他“阅读并总结过去三个月进行的所有项目会议记录”。然而,随着秘书阅读的记录越多,他开始忘记开头的内容,或者因内容过于庞大而不知所措,最终漏掉了最重要的结论来向你汇报。
最近,在企业一线工作的 AI 代理正处于这种处境。人们通常认为这是因为“AI 的智能不够”,但专家们有不同的看法。问题不在于智能,而在于管理 AI 思考时所使用的“工作台(上下文,context)”的方式。
为什么这很重要?(Why It Matters)
随着 AI 代理被引入企业业务,AI 已经进入了一个超越简单回答问题、能够执行复杂项目的时代。然而在实际工作中,经常会出现 AI 突然胡言乱语或仅仅因为大量消耗成本而导致“生产力下降”的问题。 출처 11
无论 AI 模型的性能多么强大,如果当前使用的上下文管理方式粗糙,最终 AI 还是会撞上“准确性悬崖(指 AI 因信息过多而感到混乱,性能急剧下降的现象)”。 출처 5 特别是当对话记录或工具使用结果被无序堆积时,Token(AI 读取文本的最小单位)的使用成本会呈几何级数增长,从而降低技术的可持续性。 출처 18
简明解析 (The Explainer)
为解决这一问题,一种全新的方法论被提出,即 “智能上下文管理 (Agentic Context Management,简称 ACM)”。 출처 10
如果说传统方式是将 AI 的记忆简单地看作“在仓库里堆放货物”,那么 ACM 则将 AI 的记忆重新定义为需要管理的、类似于“产品生命周期(lifecycle,从创建到废弃的过程)”的重要资产。 출처 2
简单打个比方,这就好比厨师做菜时只在操作台上拿出所需的食材。如果盲目地把所有食材都放在操作台上(盲目地将整个对话记录包含在上下文中),不仅操作空间会变小,还会浪费时间去寻找食材。相反,只把当下必需的材料放在合适的位置,用完即清理,这正是 ACM 的核心。
ACM 通过五个阶段来运行。 출처 1
- 架构设计 (Architecting):从一开始就设定如何管理信息的整体框架。
- 数据摄取 (Ingesting):筛选并获取有用的信息。
- 范围设定 (Scoping):确定 AI 目前应该关注的领域。
- 前景预测 (Anticipating):提前准备接下来可能需要的信息。
- 压缩与整合 (Compacting & Consolidation):精简旧记忆,只保留核心部分。
当前状况 (Where We Stand)
目前,许多 AI 代理服务采取的是“先全放进去看看”的策略。但这导致了效率低下,使 AI 思考时所使用的 Token 成本以平方级增加。 출처 18
专家指出,代理的失败往往不是因为 AI 本身推理能力不足,而是因为没有妥善管理好上下文。 출처 11 记忆不仅仅是“存储”,而是一项需要在 AI 的工作空间内进行适当置换和整理的技术挑战。 출처 7
未来展望 (What’s Next)
未来,AI 开发者们将不再仅仅致力于构建庞大的模型,而是将展开关于“上下文架构”的竞争,即展示模型能够多高效地处理记忆。我们所使用的 AI 助手不会再随着时间推移变得越来越笨,能够像刚开始那样一贯地管理记忆的那一天即将来临。
ACM 不仅仅是一项提升性能的技术,它将成为使 AI 能够实现可持续生产力的必备设计基础。 출처 6
参考资料
- Agentic Context Management: Solving Agent Memory and Cost by Architecting Lifecycle
- Agentic Context Management: Solving Agent Memory and Cost (PDF)
- Agentic Context Management (Hugging Face Papers)
- Agentic Context Management (AlphaXiv)
- Agentic Context Management: Memory and Cost as Lifecycle Problems (Forestry)
- Agentic Context Management: Solving Agent Memory and Cost (Swift Scholar)
-
[Vue HN 2.0 Agentic Context Management Discussion](https://vue-hackernews-ssr-5cavbdjcta-ew.a.run.app/item/49443523) -
[Maximem Memory and context management for AI agents](https://www.maximem.ai/) - Agentic Context Management (BAAI)
- Agentic Context Management (Papers with Code)
- Agentic Context Management: Memory and Cost as Architecture (Modern Orange)
- Agentic Context Management (Franklin Eh)
- Agentic Context Management: Solving Agent Memory and Cost (ArXiv HTML)
- Agentic Context Management: Solving Agent Memory and Cost (Agentic Design)
- Agentic Context Management: Treating Agent Memory and Cost (SNS Style)
- Agentic Context Management (Emergent Mind)
- Agentic Context Management (Hyper.ai)
- Agentic Context Management (ArXiv TLDR)
- 推理能力本身不足
- 缺乏上下文(记忆)管理能力
- 计算机运行速度太慢
- 数据被删除得太快
- Token 成本呈几何级数(O(n²))增长
- AI 变得太聪明
- 架构设计 (Architecting)
- 数据摄取 (Ingesting)
- 无限存储 (infinite storage)