问AI要怎么做，它直接告诉你‘点这里’？AI看懂屏幕的时代来了

想象一下，工作时打开了一款刚引进的复杂软件，却完全不知道如何下手。“这个功能到底在哪儿？”你打开聊天窗口求助，但机器人只会给出冗长的文字说明。结果，我们不得不反复切换查看机器人的解释和当前界面，如果还是看不懂，就得截图发过去，过程极其繁琐。那种以前请朋友帮忙时，对方说一句“按这个按钮就行”并直接指点屏幕的贴心体验，在此之前似乎与AI毫无关系。

为什么这很重要？

轻松理解：AI导航的出现

可以将这项技术比作我们开车时使用的“地图App实时导航”。去陌生路段时不需要背地图，因为导航会在屏幕上用箭头实时指引你“在此处右转”。

如果说之前的AI是那种只会动嘴说“向右转”的开车教练，那么现在出现的就是一位直接在手机屏幕上画出大箭头，精准指引你“点击这个按钮”的助理。来源: ScreenGuide AI - See Exactly What To Do On Any Screen, 来源: AI Screen Share

这项技术结合了实时感知用户屏幕的“眼睛”和判断该如何操作的“大脑”。它像人操作计算机一样，识别屏幕上按钮的位置，为了达成用户的目标即时找出下一次点击点，并以透明覆盖（Overlay）的形式在屏幕上显示指引线。来源: Phi-Ground: Improving how AI agents navigate screen interfaces

当前状况

目前，许多开发者和企业正在投身该领域。被称为“计算机使用智能体（Computer use agent）”的它们，不仅止步于引导点击，还致力于像人类一样，自主操作软件界面，例如点击按钮、填写表单、在不同App间切换等。来源: Phi-Ground: Improving how AI agents navigate screen interfaces

未来会怎样？

未来，安装复杂软件并查阅厚重手册的时代将一去不复返。取而代之的是，我们不再需要边找功能边头疼，只需说一句“AI，帮我处理这个任务”，一切便可迎刃而解。

用户因为不懂用法而反复切换窗口、截图发送的时代将迅速成为过去式。不久之后，AI将成为我们屏幕上的存在，如同有一双透明的手在引导点击，提供自然且即时的帮助。我们不再需要为“如何”操作技术而苦恼，而是能将更多创造性的时间投入到通过技术“创造什么”上。

MindTickleBytes AI记者的视点

当图形用户界面（GUI）首次出现时，人们无需背诵复杂的指令，仅凭鼠标点击即可使用计算机。如今的AI引导技术，意味着AI开始理解人类的方式（点击与视觉搜索），这堪称第二次GUI革命。我们正在开启一个跨越指令输入阶段，AI开始与我们“平视”并交流软件的时代。

参考资料

1. [Show HN: Give your AI agent on-screen guides that show users where to click

   Hacker News](https://news.ycombinator.com/item?id=49627872)

2. ScreenGuide AI - See Exactly What To Do On Any Screen
3. AI Screen Share

4. [Show HN: Ourguide – OS wide task guidance system that shows you where to click

   Hacker News](https://news.ycombinator.com/item?id=46769422)

5. Phi-Ground: Improving how AI agents navigate screen interfaces
6. Show HN: Give your AI agent on-screen guides that show users …