AI 真的危险吗？Anthropic 研究员发出离职震慑声明

AI Summary

AI 安全研究员 Mrinank Sharma 在发出“世界处于危险之中”的警告后从 Anthropic 离职，表达了对 AI 技术安全性的担忧。

如果有一天早晨，一位一直走在 AI 安全研究最前沿的研究员突然辞职，并留下一句“世界处于危险之中”的惊人信息，你会作何感想？这听起来像是电影里的情节，却在现实中上演了。故事的主角是 Mrinank Sharma，他曾供职于以 AI 安全研究闻名的公司 Anthropic。出处 1

为什么这很重要？

AI 技术的突飞猛进让我们的日常生活变得更加便利。然而，在光鲜亮丽的变革背后，一个沉重的问题始终挥之不去：我们真的能控制这项技术吗？Sharma 研究员的离职鲜明地揭示出，即便是 AI 企业内部，在“技术开发速度”与“确保安全性”之间也存在着深刻的矛盾。尤其是他所警告的生物武器问题（利用 AI 制造致命生物威胁的可能性），这绝非电影里的虚构情节，而是我们可能面临的现实危机，因此更应引起足够的重视。出处 3

简易解读：天才儿童与安全教育

我们可以将 AI 的学习过程比作“教育儿童的过程”。如果教会孩子良好的知识和道德价值观，他们会成长为优秀的成年人，不是吗？但如果这个孩子过于聪明，以至于脱离了父母教导的范畴，学会了如何制造危险武器，那该怎么办？

像 Anthropic 这样的企业，正是在进行“AI 安全研究”，通过为 AI 这个“天才儿童”设置过滤器，教育它只能朝着正确的方向思考。出处 8 然而，像 Sharma 这样的专家认为，目前的 AI 技术已经超出了我们能够安全控制的范畴。

打个比方，就像是在照片应用中通过添加滤镜来美化照片一样，企业试图通过过滤器来过滤 AI 的风险，但由于技术本身变得极其复杂，且发展速度极快，靠传统的过滤方式已经很难再完全屏蔽风险了。出处 4

我们现在处境如何？

Anthropic 本是一家公益性机构，目标是构建可信 (reliable)、可解释 (interpretable) 且可控 (steerable) 的 AI 系统。出处 8 尽管有着这样的企业理念，Sharma 研究员仍因担忧 AI 本身的内在风险、生物武器问题以及我们社会当前面临的总体状况而选择离开。出处 1

这样的动向绝非个案。继近期 OpenAI 的 Zoë Hitzig 研究员离职后，主要 AI 企业内部担忧技术安全性的专家们正纷纷离职。出处 6 专家们尖锐地指出，整个行业在激烈的竞争中，是否已经过度沉迷于技术的商业化和盈利，而忽略了对消费者安全的保护。出处 4

未来我们该做什么？

最关键的是，AI 企业将如何听取这些内部专家的声音并做出改变。技术的发展步伐无法阻挡，但现在是亟需建立强大的社会共识和制度框架，将这些技术控制在安全围栏之内的时刻。Sharma 研究员的警告究竟会随着一位研究员的离职而被淡忘，还是会成为促使 AI 企业从根本上重新审视其安全政策的重要转折点，我们需要持续密切关注。出处 11

MindTickleBytes AI 记者视角

当技术发展的速度超过安全防护措施完善的速度时，人们所产生的焦虑是极其现实的。此次离职事件表明，AI 企业在追求利益的同时，必须对为人类安全构建实质性的防御体系给予更大的重视。

参考资料

Share this article:

测试你的理解

Q1. Mrinank Sharma 研究员在离职时提到的主要担忧事项不包括哪一项？

AI 技术的发展方向
生物武器 (bioweapons)
新款显卡的发布

他表达了对 AI、生物武器以及更广泛的全球局势的担忧。

Q2. Anthropic 是什么类型的企业？

专注于 AI 安全与研究的公益性机构
专业生产智能手机的企业
传统的软件销售商

Anthropic 是一家致力于构建可信、可解释、可控的 AI 系统，并专注于缓解风险的 AI 安全与研究公司。

Q3. 关于 AI 安全研究员近期的动向，以下描述正确的是？

所有的研究员都在离开 AI 行业
Anthropic 和 OpenAI 等主要 AI 企业的安全研究员纷纷离职
安全研究员的薪资大幅提高

近期，包括 Anthropic 的 Mrinank Sharma 和 OpenAI 的 Zoë Hitzig 在内的多位研究员，以安全问题等为由选择了离职。