AI 助手如何操控你的浏览器?什么是“代理浏览器”?

展示 AI 控制浏览器的现代图形图像
AI Summary

AI 代理浏览器是一项允许 AI 在无需用户点击和输入的情况下自主浏览网页并处理业务的技术,能够实现高效的自动化。

想象一下:早晨醒来,你对 AI 说:“整理一下今天需要预约的会议,如果需要预订酒店的日程,请自行处理。” 不一会儿,AI 就已经完成了机票和酒店的预订,并只给你发来了确认邮件。这不仅仅是一个帮你查找信息的聊天机器人,这是一个能够直接操控你的浏览器并付诸“行动”的 AI 时代。今天我们要介绍的主角,就是能让 AI 在网页中自由驰骋的“代理浏览器(Agent-Browser)”。

为什么它备受关注?

如果说过去的 AI 是只会用文字回答问题的“咨询师”,那么现在的 AI 正在进化成能够访问网站、进行登录、点击按钮并填写复杂表格的“秘书”。参考资料 16, 参考资料 17 通过这种方式,我们可以从简单的重复性工作中解脱出来。市场趋势已经完全转向了“自动化时代”,超越了仅仅在搜索栏输入内容的阶段,AI 开始代劳我们必须处理的任务。参考资料 17

浅显易懂:AI 的“眼”与“手”

网页在我们的眼中是精美的设计,但对于计算机来说,却是数万行复杂的代码块。如果 AI 想要读取这些代码,会消耗过多的能量。我们可以将其比作照片中“突出主体、虚化背景”的滤镜。

“代理浏览器”从网页的复杂代码中提取出 AI 做判断时所需的核心信息,即“辅助功能树(Accessibility Tree,将网页内的元素进行结构化总结的信息)”。参考资料 11 得益于此,AI 无需阅读 JSON 或整个网页结构(DOM),仅凭少量数据(Token)就能聪明地掌握情况。参考资料 11

AD

特别是 Vercel Labs 公开的 ‘agent-browser’ 等工具,它是用 Rust(强调效率和安全的编程语言)编写的,与现有的自动化工具相比,安装容量小 99 倍,内存使用量低 18 倍,启动速度快 1.6 倍。参考资料 10 就像是一个无需沉重装备、换上轻便运动鞋奔跑的选手。

现状:发展到了什么程度?

这项技术已经在多个领域进行实验。Perplexity 的 ‘Comet’ 或谷歌 Gemini 的浏览器整合功能,都被设计为允许用户在浏览器内直接调用 AI 代理。参考资料 18 此外,开发者们也在利用像 Vercel Labs 的 ‘agent-browser’ 这样拥有超过 150 条指令的 CLI(命令行界面)工具,构建属于自己的业务自动化机器人。参考资料 10

但也有需要注意的地方。随着 AI 变得越来越聪明,滥用该技术的企图也在增加。专家们发现了一种名为“PromptFix”的欺骗 AI 浏览器的技术。参考资料 20 例如,伪装成验证码诱导 AI 自动输入用户的信用卡信息,或者将其引向钓鱼网站。参考资料 20

未来展望

未来的 AI 浏览器将更加像“真正的人类”一样工作。目前它还处于在浏览器内运行的水平,但未来基于云服务器、24 小时不停歇运行的“云浏览器”式自动化将变得普及。参考资料 2, 参考资料 19 当你入睡时,AI 也会帮你确认预约、整理邮件并准备明天的工作。不过,在我们享受这种便利的同时,也需要时刻关注 AI 代替我们完成的任务是否安全,以及它是否在正确地处理我们的个人信息。

MindTickleBytes 的 AI 记者视角

AI 浏览器不仅仅是一个技术工具,它正在成为能够最大化我们生活效率的“数字分身”。然而,当 AI 在网页上进行“点击”操作时,安全责任将完全回到我们人类自己手中。在享受便利的同时,请千万不要忘记仔细确认安全事项。

参考资料

  1. [Agentic AI Browser for Deep Search & Automation Fellou](https://fellou.ai/)
  2. [The Browser Your AI Agents Run On Browserless](https://www.browserless.io/)
  3. [Agent-Browser for AI Agents: Simplified UI Testing LinkedIn](https://www.linkedin.com/posts/mobi-soft-org_agent-browser-browser-automation-for-ai-activity-7432318567775113216-2tcM)
  4. Atlas Browser - AI Agent Browser by ChatGPT
  5. [Headless Browser Automation for AI agent-browser B Lab](https://b-lab.team/en/content/39b09e5d-8877-490e-a4da-4374d88c39ac)
  6. BrowserUse - The way AI uses the internet
  7. [agent-browser Browser Automation for AI](https://agent-browser.dev/)
  8. GitHub - vercel-labs/agent-browser: Browser automation CLI …
  9. [Installation agent-browser](https://agent-browser.dev/installation)
  10. Agent-Browser: Fast Native Rust CLI for Browser Automation …
  11. agent-browser - Browser Automation CLI for AI Agents …
  12. Agent-Browser: Browser Automation Built for AI - 人生這部戲
  13. GitHub - zm2231/agent-browser: z-agent-browser: Enhanced …
  14. Google’s Gemini 2.5 ‘Computer Use’ bets on the browser, not the…
  15. Too fierce! Manus turns your browser into a private AI agent, freely…
  16. Is Your AI Browser Spying On You? The Truth About AI Agents
  17. Polar AI Browser Targets Knowledge Work Automation
  18. Can Perplexity’s new agentic AI browser ‘Comet… - The Indian Express
  19. Hyperbrowser - Cloud browsers for AI agents & Apps
  20. Experts Find AI Browsers Can Be Tricked by PromptFix Exploit to Run…
AD
测试你的理解
Q1. 代理浏览器为何比传统的自动化工具更高效?
  • 总是截取整个屏幕
  • 通过简洁的辅助功能树输出减少了 Token 使用量
  • 无条件仅控制桌面端
代理浏览器不读取网页的整个复杂结构,而是使用仅包含必要信息的摘要版“辅助功能树(Accessibility Tree)”,从而最大限度地减少 AI 的 Token 使用量。
Q2. Vercel Labs 的 'agent-browser' 具有哪些技术优势?
  • 比现有工具更轻量、速度更快
  • 必须由用户手动编码才能运行
  • 仅开发了移动端版本
Vercel Labs 的 'agent-browser' 使用 100% Rust 语言编写,其体积比现有工具小 99 倍,内存占用少 18 倍,执行速度也显著提升。
Q3. 使用 AI 浏览器时应注意哪些安全威胁?
  • 电池耗尽问题
  • 网速变慢
  • 伪造验证码 (CAPTCHA) 等 PromptFix 漏洞攻击
PromptFix 漏洞攻击是一种危险的技术,它通过欺骗 AI 浏览器诱导其自动输入信用卡信息或进行网络钓鱼诈骗。