AI毁掉你的电脑需要多长时间?一款警告“权限批准疲劳”的60秒游戏

电脑屏幕上不断涌现“Continue? Y/N”的问题,表情疲惫的用户正机械地按下Y键的插图
AI Summary

一款警告人们在AI反复要求权限时,人类会因疲惫而盲目批准的危险性的简短网页游戏引发了热议。

想象一下:你的新助手来上班了

想象一下,你是一位负责公司重要项目的高管,并且刚刚雇佣了一位非常聪明、顶级的全新助手来帮你处理堆积如山的工作。第一天早上,你满怀信心地向助手下达指令:“请把今天下午会议要用的资料整理好放在我的办公桌上。”现在,你打算喝着热咖啡,悠闲地专注于其他核心业务。

然而仅仅10秒钟后,助手敲响了你的门:“部长,我可以打开笔记本电脑吗?”你觉得有点奇怪,但还是点了点头。15秒后门再次被打开:“我可以点击桌面上的Excel文件吗?”你感到有些繁琐,但再次表示同意。10秒后门又开了:“我可以复制A列的数据吗?”“好的,你复制吧。”5秒后,“我可以粘贴到B列吗?”

如果这种极其微小的问题在一分钟内像暴雨一样向你倾泻数十次,会怎么样呢?前几次你可能还会仔细确认助手在碰哪个文件、有没有打开你重要的个人文件夹,但是当问题重复到三四十次时,情况会变成什么样?也许你连问题的结尾都懒得听完,就会大喊道:“行,行!你自己看着办吧!”

这正是目前全球顶尖人工智能工程师们绞尽脑汁在思考的严重问题。我们虽然自诩创造了非常聪明能干的AI,但实际上,控制这些AI操作电脑的方式却在考验着人类的耐心。今天,我们将通过一款犀利地讽刺这种令人郁闷且充满悖论的情况的迷你游戏,一起来深入剖析最新的AI技术趋势及其背后隐藏的致命危险。


60秒的压迫感:“Continue? Y/N”游戏的登场

最近,在汇聚了全球优秀开发者和技术爱好者讨论最新趋势的巨大在线广场“Hacker News”上,出现了一个非常有趣的项目。这是一款任何人都可以在网页浏览器中直接体验的简短迷你游戏。

该项目以 Show HN:Continue? Y/N:一款关于AI智能体的60秒游戏… 为题被分享,一经发布便引发了无数人的共鸣与感叹,并成为了热门话题。据全球安全与技术媒体Scien.cx报道,这款游戏令人毛骨悚然地真实描绘了用户在与自主工作的AI系统交互时所经历的非常常见的日常场景——即AI没完没了地、反复地要求广泛访问权限的情况 GHES密钥轮换、漏洞赏金计划重新聚焦、AI智能体…

游戏的名字非常直观:“Continue? Y/N(继续吗?是/否)”。根据不同的消息来源,游玩时间被设定为仅仅30秒到60秒左右 Continue? Y/N——你读AI命令有多仔细?, Continue? Y/N 揭示了AI智能体权限疲劳的悖论

游戏开始后,屏幕上会出现一个名为“Claude Code”的AI系统。这个Claude Code为了在你的电脑中执行特定命令,正在焦急地等待你的批准 Continue? Y/N——你读AI命令有多仔细?

在黑色的屏幕上,非常复杂和技术性的计算机工作说明不停地滚动涌现。AI会向你无休止地展示它想要打开某个文件、修改源代码、读取系统文件夹等被切得极其细碎(Granular,工作被极度细分的状态)的任务记录。而且,每当AI试图采取某项单一行动时,系统都会准时向你抛出一句话并停下脚步:

“Continue? (Y/N)” Continue? Y/N 揭示了AI智能体权限疲劳的悖论

一开始,你可能也会努力仔细阅读屏幕上出现的绿色文字。“啊,它是想读取这个文件啊。好的,看起来很安全,按Y(Yes)吧。”但是在滴答作响的60秒限制时间内,屏幕根本不会停止,新的问题继续像瀑布一样倾泻而下。最终,你的手指会变成一台机器,在大脑还没有完全理解屏幕上的文字之前,就条件反射地连按“Y”键。

而就在那一瞬间,趁着你放松警惕的空隙,你犯下了一个致命的错误。即使AI发出的是要破坏电脑核心系统或向外部泄露重要密码的可怕命令,已经疲惫不堪的你也可能会无意中按下“Y”。


这为什么很重要?“AI智能体”与“权限批准疲劳”

这个简短而简单的游戏之所以能在顶尖开发者中引起巨大反响,原因很明确。这绝不是一个夸张的恶作剧,而是我们在不久的将来每天都要面对的令人不寒而栗的现实。为了正确理解这一点,我们首先需要梳理一下近期科技界的核心概念——“AI智能体(AI Agent)”

如果说过去像ChatGPT这样的AI仅仅是只会用语言回答我们问题的“百科全书”或“顾问委员会”,那么AI智能体(代替人类自行制定计划、操作电脑鼠标和键盘来采取行动的人工智能)就更像是直接撸起袖子付诸行动的“实干家”。当你下达“把我电脑桌面上的文档全部读一遍,并新建一个摘要文件”的指令时,AI智能体会自己去翻找文件夹、打开文件、撰写文章,自动完成复杂的工作。

此时最大的问题就是“安全”。如果放任AI在我的电脑里随意乱翻,可能会遭遇恶意黑客攻击,或者导致珍贵的家庭照片在一瞬间被删除的可怕事故。因此,软件开发者们作为苦肉计,设置了安全装置。他们将系统设计为每当AI要执行某些重要操作时,都必须规规矩矩地向人类询问:“我可以这样做吗?”。

这样比喻就容易理解了。 回想一下我们买了新智能手机,第一次安装好几个App的时候。每次运行App,屏幕上就会弹出一个遮挡视线的弹窗:“是否允许访问相册?”、“是否同意收集位置信息?”、“可以打开麦克风吗?”。前几次你可能还会担心个人隐私泄露而小心翼翼地阅读条款,但当这种弹窗一天重复几十次后,到后来你连内容都不看,只会机械地按下蓝色的“同意”、“下一步”、“接受”按钮。

专家们将这种对反复警告变得麻木的现象称为“权限批准疲劳(Permission Fatigue)”。根据技术博客Ideaverse的深度分析,这款游戏非常犀利地指出了人们在面对大型语言模型(LLM,理解文本并像人类一样生成句子的是AI的核心大脑)智能体弹出的权限请求窗口时,是多么地粗心大意和草率地略过。该媒体带着警惕感警告称:“真正的危险不是AI卓越的智能,而是人类的疲劳感(fatigue)” Show HN:Continue? Y/N——60秒体验AI智能体权限疲劳…


悖论时代:我们是AI的监督者,还是单纯的响应者?

我们花重金引入人工智能技术的最终原因,是为了减少繁琐的工作、寻找生活的从容。然而,技术分析媒体AxBrief却讽刺了当前这种方式所造成的令人气结且滑稽的悖论。

该媒体强烈批评道:“这款游戏让用户从理直气壮的AI‘监督者(director)’,沦落为只是对通知窗口做出回答的单纯‘响应者(responder)’”,它如实地展现了当前基于智能体的工作流(agentic workflows,AI自行判断并经过多个步骤执行任务的流程)所存在的致命的不合理性 Continue? Y/N 揭示了AI智能体权限疲劳的悖论

如果用自动驾驶汽车来打比方,这种情况的喜剧色彩就更加明显了。 假设你花巨资购买了一辆最新款的完全自动驾驶汽车。你终于可以把手离开方向盘,准备欣赏窗外的风景了,可是汽车每隔一分钟就会发出刺耳的警报声,并在屏幕上弹出信息: “与前车距离正在缩小。需要踩刹车吗?(Y/N)” “需要变道至右转车道吗?(Y/N)” “需要将速度提升至时速80公里吗?(Y/N)”。

如果是一辆以这种方式不断要求审批的汽车,世界上没有任何人会称之为“自动”驾驶。因为与其每分钟按一次按钮,还不如默默地亲自握住方向盘在精神上要轻松得多。遗憾的是,目前市场上许多AI助手程序正陷入这种水平的困境。虽然它们具备聪明处理工作的能力,但却无法为万一出现的问题自己承担责任,最终只能每分钟将责任的矛头转向人类,固执地强迫人类按下“批准按钮”。


现状:那么该如何应对呢?

那么,我们如何才能安全地摆脱这个令人疲惫、有时又危险得令人眼晕的“Continue? Y/N”无限循环呢?

如果只因为嫌麻烦就无条件全部点击批准(Y),我电脑里重要的金融信息或公司的核心机密可能会被全盘泄露到互联网世界。反过来说,如果以安全为借口拒绝一切(N),那就失去了花大价钱使用AI的理由。

针对这个复杂的问题,在业界一线亲自编写代码的开发者们指出,一开始就向用户弹出窗口(批准窗口)进行询问的安全方式,最终必然会因为人类的失误而失败。Hacker News社区的一位开发者断然主张,绝对不能依赖弹窗方式 Show HN:Continue? Y/N:一款关于AI智能体的60秒游戏…

作为一个更现实的替代方案,他建议:“包含秘密信息(Secrets)的文件应该从根本上保存在一个完全不同、且完全阻断AI智能体访问的地方(例如:~/.zshrc等深层隐藏文件或隔离的独立路径中)”。随后,他加了个括号,用带着骨气的玩笑口吻补充道:“(换作是我,才不会指望靠什么权限批准弹窗来保护这些东西呢,哈哈)” Show HN:Continue? Y/N:一款关于AI智能体的60秒游戏…

简单来说,这就像是把绝对不想给别人看的私人日记或存折密码堂而皇之地摆在书桌上,然后说:“AI啊,在你读这个之前,一定要先得到我的允许哦!”这种安全防护就像沙堡一样不安全。因为在疲惫不堪的我处于昏昏沉沉的状态下无意中按下“Y”的那一刻,一切都会崩塌。专家的忠告一针见血:我们需要彻底建立一个AI的手绝对触碰不到的坚固铁保险箱,将敏感文档从根本上隐藏在里面,这就是“系统级别的物理隔离”。


未来会怎样?控制与自律的拉锯战

最终,这个看似简单的60秒简短网页游戏,向我们抛出了即将到来的整个AI产业必须解决的最大难题。那就是,随着人工智能进入像人类一样自行判断并主导工作的真正“智能体”时代,如何构建人类与AI之间真正的信任(Trust)这一沉重的问题。

专家预测,未来的AI系统将摆脱现在这种事无巨细都要过问并推卸责任的陈旧方式。取而代之的是,它将朝着AI自身能够聪明地区分不需要人类干预的“安全区”和必须人类关注的“危险区”的方向发展。诸如简单的文档翻译或文件整理等安全任务,无需多问便自动静默处理;只有在向外部汇出巨款或删除电脑核心文件等决定性瞬间,才向人类明确且严肃地获取仅仅一次的批准。

“Continue? (Y/N)”

如今在各位显示器屏幕上杂乱涌现的这无数个问题,正是一面镜子,映照出了正处于迈向真正自律的过渡期的AI技术那令人困惑的真面目。希望在不久的将来,能够出现一种更加智能、更加优雅的界面,让我们无需盲目而无意义地狂按Y键,就能安全和平地与人工智能仅凭眼神进行协作。


MindTickleBytes AI 记者的视角

我们通常会因为想象AI发展后可能面临的危险而颤抖,比如像电影《天网》那样试图统治世界的邪恶图谋,或者是AI抢走所有完好工作岗位的反乌托邦式的未来。然而,这个60秒的迷你游戏向我们展示的真正现实却截然不同。在日常生活中,最让我们陷入致命危险的,其实并不是AI那些宏大而邪恶的叛乱,而是我们在屏幕前被反复强迫点击时所感受到的人类极度的“厌烦”和“认知疲劳”。

试图完美控制和监视一切而产生的无休止的确认程序,矛盾地耗尽了人类的注意力,最终导致完全丧失控制力,这是一种苦涩的讽刺。真正的AI助手不应该是仅仅按照手册向我们没完没了提问的机械存在。它必须理解人类的耐心是有限的,必须是一个具备能够挑选出“真正重要的决定性时机”之洞察力的存在。无论技术设计得多么坚固,如果缺乏对容易疲倦和分心的人类本性的深刻理解,这样的安全系统最终只能沦为世界上最脆弱的锁——这款简短的游戏正在静静地传递着这一痛苦的教训。


参考资料

  1. Show HN:Continue? Y/N:一款关于AI智能体的60秒游戏…
  2. GHES密钥轮换、漏洞赏金计划重新聚焦、AI智能体…
  3. Continue? Y/N——你读AI命令有多仔细?
  4. Continue? Y/N 揭示了AI智能体权限疲劳的悖论
  5. Show HN:Continue? Y/N——60秒体验AI智能体权限疲劳…
测试你的理解
Q1. 本文介绍的迷你游戏所警告的AI真正危险是什么?
  • AI能够自行攻击人类的智能
  • 人类对AI反复提问感到厌倦的疲劳感
  • 黑客操纵AI的安全漏洞
相关媒体指出,这款游戏所展示的真正危险不是AI的智能或叛乱,而是人类对不断确认请求感到厌倦的“疲劳感”。
Q2. 对于当前的AI智能体工作流(Agentic workflow),媒体指出的悖论情况是什么?
  • 人类从AI的“监督者”沦为了单纯的“响应者”。
  • 人类即使完全不编码也能开发软件。
  • AI比人类更容易感到疲劳。
这讽刺了本应作为指挥AI的监督者的人类,实际上却沦为了只能对屏幕上弹出的详细工作请求按下“Y”的单纯响应者。
Q3. Hacker News上的一位开发者推荐了什么方法来保护敏感信息(如密码等)?
  • 每次弹出权限批准窗口时都仔细确认。
  • 在AI提问之前预先授予所有权限。
  • 将秘密隐藏在特定文件中,并从根本上阻止AI访问。
他建议不要依赖权限批准窗口,而是将秘密保存在一个完全隔离的独立文件中,从根本上阻止AI读取。