我浏览器中的 AI 小助手:用 WebAssembly 打造超轻量级代理程序骨架

一幅表现小巧高效的代码在浏览器界面中运行并驱动 AI 代理的图像。
AI Summary

利用 WebAssembly 技术,无需复杂服务器即可在浏览器内安全、快速地运行 AI 代理。

想象一下,你对日常使用的网页浏览器说:“帮我整理一下今天的任务清单,并写一份邮件回复草稿。”以往,处理这个请求需要将数据发送到服务器,并经过复杂的处理过程。但现在,一个可以在浏览器内部即时且安全地处理这一切的世界正在到来。这都要归功于 WebAssembly 技术。

最近,开发者们正在积极尝试用 WebAssembly 为 AI 代理构建“超轻量级骨架(Harness,装置)”。今天,我们就来聊聊这项技术为何如此重要,以及它将如何改变你的日常生活。

这为何如此重要?

过去,AI 代理大多依赖云端服务器运行。因为需要将你的数据发送到服务器,所以存在个人信息泄露的担忧,而且断网时无法使用也是一大缺陷。

然而,基于 WebAssembly 的骨架直接在你的浏览器中运行 AI 代理。它不仅降低了云端成本,而且无需将数据传输到外部,直接在个人设备上处理任务,因此安全性极高 [Source 11]。特别是在使用编程助手或个性化自动化工具时,这项技术在优化设备性能的同时,还能提供流畅的使用体验 [Source 11]。

简单易懂:AI 的“安全游乐场”

“代理程序骨架”这个术语听起来很复杂吗?让我们打个简单的比方。

把 AI 代理想象成一个“聪明但笨手笨脚的工人”。给这个工人派活时,如果不给他配任何装备就让他去外面干活,他可能会犯错或误入危险区域。这时候,“骨架”就是帮助工人安全完成工作的工具带和安全防护装备

骨架决定了代理将使用哪些工具(工具接口),记住工作顺序(规划状态与内存),并在发生错误时协助重试 [Source 12]。

WebAssembly 正是为这个骨架打造的“极其坚固且狭窄的沙箱(Sandbox)”。沙箱意味着孩子们玩沙子时,让沙子不至于跑到外面的空间。在 WebAssembly 这个沙箱内,AI 代理不会影响整个设备,只会在给定的范围内安全地进行计算 [Source 5]。得益于此,开发者只需一个 145KB 的极小文件,就能构建出一个扮演 Web 服务器角色的环境 [Source 1]。

当前现状

目前,WebAssembly 技术正在突飞猛进。已经能够以接近真实计算机(原生)的速度,在浏览器中运行由 C、C++、Rust、Python 等语言编写的代码 [Source 4]。

特别是在需要复杂判断和工具使用的领域,如编程(coding)代理、研究支持代理等,都在积极引入这种骨架技术 [Source 12]。许多开发者已经利用自制的代理程序骨架展示了在浏览器中运行的 AI 助手,这正在成为改变 Web 应用未来的重要转折点 [Source 11]。

当然,正如所有技术一样,它也有局限性。目前,根据用户的硬件性能(CPU/GPU),能够处理的模型大小可能会受到限制 [Source 7]。

未来前景

未来,无需连接服务器,直接在浏览器中阅读并总结论文、自主处理复杂工作的 AI 代理将会越来越多。为了实现更精密的系统,开发者们正在 WebAssembly 之上实现包含自主推理单元、规划步骤、工具执行模块的复杂代理系统 [Source 10]。

请与我们一起见证你每天使用的浏览器如何进化成更聪明的个人 AI 秘书。现在,AI 不再是在云端遥不可及,而是直接在你屏幕的方寸之间奔驰。


MindTickleBytes 的 AI 记者视角

基于 WebAssembly 的骨架是将 AI 从庞大的云端服务器解放出来,变为我们手中工具的关键。这种将复杂系统轻量化的技术,才是真正能归还用户主权、实现 AI 大众化的路径。

参考资料

  1. How I Made a Minimalist Agent Harness Code Like a Senior Engineer - poornerd
  2. Wasm-agents: AI agents running in your browser
  3. GitHub - Picrew/awesome-agent-harness
  4. Building Complex Agentic Systems with WebAssembly
  5. Building AI Agents in the Browser with WebAssembly
  6. agent-harness · GitHub Topics · GitHub
  7. Building an agentic AI assistant that runs entirely in your browser with no cloud required - DEV Community
AD
测试你的理解
Q1. 关于 WebAssembly (Wasm) 的主要特征,下列哪项是正确的?
  • 执行速度缓慢
  • 在浏览器中以接近原生的速度执行代码
  • 仅能执行 JavaScript
WebAssembly 是一种二进制格式,可以让 C、C++、Rust 等多种语言编写的代码在浏览器中以极快的速度运行。
Q2. 代理程序骨架 (Agent Harness) 的主要作用是什么?
  • 训练 AI 模型
  • 通过管理代理的工具、内存和状态来辅助完成任务
  • 更改网页浏览器设计
代理程序骨架是一个运行时环境,用于协调工具接口或内存等,以确保代理能够与环境交互并安全地执行任务。
Q3. 基于 WebAssembly 的代理程序骨架有什么优点?
  • 仅能使用云端服务器
  • 安全性薄弱
  • 在浏览器内部隔离的沙箱环境中安全运行
WebAssembly 沙箱通过隔离方式执行代码,因此安全性极高,并能确保在本地环境中安全地处理任务。