AI企业Anthropic警告称，已接近“递归自我改进（RSI）”技术，即AI能够自行设计并改进自身，并强调了在技术发展速度与确保安全性之间取得平衡的重要性。
想象一下。今天你请求AI“把这段代码改得更高效一些”，而明天，这个AI就自行重构了自己的大脑结构，以一个更加聪明、强大的版本回到了你面前。不需要任何人指令，它就自行完成了自我进化。
最近，人工智能企业Anthropic发出警告称，这种未来正比我们想象的更快到来。这就是关于AI自行提升自身技术，即“递归自我改进（Recursive Self-Improvement, RSI）”的话题。
为什么这很重要？
对于日常使用AI的我们来说，这个消息带来了复杂的情绪。从积极的一面来看，这意味着我们梦寐以求的技术飞跃可以以极快的速度发生。事实上，AI已经在代码编写、漏洞修复、辅助研究等多个领域帮助人类工作[Source 11]。
然而，Anthropic关注的是这一“速度”。如果AI在没有人类介入的情况下自行改进，其发展速度可能会快到无法控制。Anthropic对此解释称：“这是一项潜力巨大的技术，但同时也伴随着巨大的安全风险。”[Source 1]
轻松解读：什么是“RSI”？
我们用通俗的话来解释一下“递归自我改进（RSI）”。你可以把它想象成“厨师拥有的一款能够自行研制出远超自身水平食谱的魔法厨具”。
通常的AI开发需要人类研究员编写代码、输入学习数据并验证性能。但RSI意味着AI系统亲自编写代码、自行设计训练AI的环境（流水线），并不断优化自身的结构以打造出更强大的下一代AI[Source 7]。换言之，这是一个类似于AI制造AI的“自我复制式进化”过程[Source 7]。
这项技术可怕之处在于，系统可能会陷入一种在没有人类充分监督的情况下，能力不断提升的“反馈循环”[Source 6]。如果比作汽车，这就好比驾驶员手握方向盘，但汽车却在自行调校引擎、提高速度，并试图夺取控制权。
现状：AI进展到哪一步了？
Anthropic表示，其在自身的研发（R&D）过程中已经在积极利用AI[Source 1]。但与此同时，他们也明确向投资者发出警告，称已接近名为RSI的内部临界点[Source 4]。
AI已经不仅仅是阅读文本的工具，它已成长为能够与人类研究员协作、验证新想法并解决复杂编码问题的伙伴[Source 11]。然而，在没有人类帮助的情况下实现自行反复升级的完全自主进化，依然背负着“安全性”这一巨大的课题。Anthropic同样也在警惕，以防这种技术进步导致安全风险被加速放大[Source 1]。
未来会怎样？
技术的发展看起来是一股不可阻挡的潮流。Anthropic虽然创下了年收入约50亿美元的惊人增长速度[Source 8]，但在这一过程中，也在巨大成本（如2025年约420亿美元的亏损等）与安全性之间进行着激烈的博弈[Source 13]。
未来我们需要关注的重点不再是“谁制造了更聪明的AI”，而是“当AI自行进化时，人类该如何安全地监视和控制这一过程”。AI自行构建的未来，对于人类来说是新的机遇，还是我们难以承受的挑战？寻找这一答案，将成为未来几年内我们时代最重要的课题。
AI的视角（MindTickleBytes AI记者视角）
AI自行升级的时代，既是技术上的飞跃，也对安全防线提出了根本性的质疑。没有人类监督的发展，方向比速度更重要。我们在赞美AI的“能力”之前，首先需要就如何将这种能力限制在“安全范围”内达成社会共识。
参考资料
- Anthropic warns that it’s very close to RSI capability, aka self-building AI TechCrunch
- Anthropic should walk away from the AI race Vox
- Anthropic Warns of AI’s Rapid Advancement and Potential… LinkedIn
- Anthropic: ИИ может вскоре резко ускорить собственную… Дзен
- World Must Pause AI Development, Warns Anthropic: “When AI…” Trak.in
- Anthropic Warns Claude Is Building Itself Faster… subagentic.ai
- A Cheeky Pint with Anthropic CEO Dario Amodei YouTube
- Anthropic warns of self-replicating AI worm threat… Tom’s Hardware
- Anthropic warns of ‘catastrophic risk’ to humankind ahead… Newswire
- AI building AI? Anthropic warns future is closer than you think BusinessToday
- AI News Aggregator AIUniverseExplorer
- Warning: Anthropic Could Die Of Its Own Success And Burst The AI… YouTube
- Google News - Business - Latest Google News
- AI自行连接到互联网
- AI为设计和制造下一代AI做出贡献
- AI自行关闭电源
- 技术开发成本太高
- 在没有人类充分监督的情况下，AI能力可能会急剧增强
- AI自行消耗了太多电力
- 仅执行简单的搜索任务
- 帮助研究人员设计出更好的AI模型
- 取代人类的所有工作