为了验证 AI 在危险情境下做出的复杂判断和概念逻辑能力,Anthropic 和 Redwood 发布了一款名为“概念推理指数”的全新研究工具。
想象一下。当我们问 AI:“在这种情况下,最符合伦理且切实可行的方案是什么?”如果 AI 不仅仅是复制粘贴互联网上的数据,而是真的像人类一样进行深思熟虑,并在逻辑层面给出答案,那会怎样?最近,人工智能领域的研究人员正齐心协力衡量这种“深度思考”的水平。
AI 安全与研究公司 Anthropic(致力于构建可信、可解释 AI 的公司) 与 Redwood 最近共同发布了概念推理指数 (Conceptual Reasoning Index)。参考资料 3 此次发布是验证 AI 是否不仅仅是一个聪明的聊天机器人,而是能针对我们面临的复杂且敏感的问题展开正确逻辑推理的重要一步。
为什么这很重要?
在日常生活中,我们使用的 AI 助手主要执行一些告诉我们天气或总结电子邮件的任务。但如果 AI 开始参与越来越重要且伴随风险的决策(例如金融、医疗或公共政策)时,情况就不同了。
到目前为止,AI 的评估主要集中在“回答有标准答案的问题”上。然而,现实中的危险情境并没有标准答案。概念推理指数旨在评估 AI 在这种模糊且复杂的情境下展开逻辑的方式,即“论证的质量”。参考资料 3 通过这一点,我们能够更准确地判断 AI 犯错时,究竟是单纯的信息错误,还是其逻辑结构本身存在缺陷。
通俗地讲
为了通俗地理解概念推理指数,我们打个比方。这就像我们在学校考试时,做客观题与写论文之间的区别。客观题有固定答案,评分容易;而论文题答案多种多样,要核实逻辑是否顺畅、论据是否充分是非常困难的。
大多数 AI 评估至今仍停留在“解客观题”的水平。参考资料 3 但你可以认为这次推出的指数是评估 AI 所写“论文答卷”的工具。
当 AI 在危险情境下提出某种主张时,要确认该主张是否真正符合逻辑,需要人工逐一阅读。这种工作既耗时,又难以自动化。Anthropic 和 Redwood 正是构建了一个框架,能够在这种“反馈稀少且难以自动化”的领域中准确衡量 AI 的思维能力。参考资料 3
处于什么阶段?
目前,Anthropic 正利用该指数进行研究,使 AI 系统更值得信赖,并能按照我们期望的方向进行精确控制。参考资料 2 这与 Anthropic 的企业哲学相一致,即相比于快速发布技术,将优先权放在提前识别技术风险并使其更加稳固上。参考资料 4
当然,该工具目前处于初步研究阶段。虽然 AI 还不能完美模仿甚至超越人类思维,但至少这开启了第一步,让我们能够掌握 AI 做出判断的原因,并找出判断过程中是否存在逻辑漏洞。
未来会怎样?
未来,人工智能系统将自动化更多复杂的工作。Anthropic 此前已经发布了应用于代码编写、代理业务等多个领域的模型。参考资料 5 此次引入的指数将成为验证 AI 是否不仅学习了大量数据,还具备“思考能力 (Reasoning)”的必备基准。
我们未来或许会生活在一个时代,当我们看到 AI 给出的答案时,无需再困惑“为什么这说得通?”,而是可以直接核实该 AI 系统经历了怎样的逻辑验证过程。期待 Anthropic 的这些研究不断积累,营造出一个让我们能更安心使用技术的环境。
MindTickleBytes AI 记者视角
能够开始从“如何进行逻辑思考”而非单纯“包含多少知识”的角度来衡量 AI 的智能,这一点令人印象深刻。正如我们在教育孩子时重视过程胜过结果一样,AI 只有在严苛对待过程中的逻辑性时,才能成为真正“值得信赖的伙伴”。
参考资料
- See the latest updates, context, and perspectives about this story.
- Introducing Claude \ Anthropic
-
[not much happened today AINews](https://news.smol.ai/issues/26-08-12-not-much/) - Research \ Anthropic
- Newsroom \ Anthropic
- 提高 AI 图像生成速度
- 评估与风险相关的论证及概念推理能力
- 测量 AI 用户的屏幕使用时间统计
- 极其简单的重复计算
- 反馈稀少且难以自动化的复杂推理场景
- 简单的问候回复
- 一家只追求利润最大化的公司
- 一家致力于构建可信、可解释且可控 AI 系统的公司
- 一家仅制造硬件设备的公司