我的网页浏览器变身 AI 大脑?'Goku' 带来的变革

可视化展现 AI 模型在浏览器窗口内运行的图形。
AI Summary

介绍允许在网页浏览器中本地运行 AI 模型的工具 'Goku' 的出现及其原理。

想象一下:即使断开网络,也无需担心个人信息被上传到服务器,仅凭一个浏览器窗口就能运行属于你自己的智能 AI 助手,这会是怎样的体验?在此之前,要使用人工智能 (AI),通常必须经过大型服务器或单独安装复杂的程序。然而,最近出现的一款名为 ‘Goku’ 的工具,正试图彻底改变这一现状。

为什么这很重要?

通常我们使用 ChatGPT 等 AI 服务时,问题会通过网络传输到远端公司的服务器上。虽然方便,但在输入敏感个人信息时难免会有顾虑。此外,要在个人电脑上直接运行 AI 模型,往往需要复杂的编程知识或高配置环境,这对普通用户来说是一道很高的门槛。

Goku 将这一过程带入了我们熟悉的网页浏览器环境。据 ShowHN: Goku – WASM (wllama)-powered LLM inference and model manager 所述,Goku 允许用户直接在浏览器中管理和运行大语言模型 (LLM,即通过学习海量数据像人类一样进行对话的 AI)。也就是说,无需庞大的服务器基础设施,就能在浏览器内构建起人工智能的运行环境。这意味着 AI 将变得更加隐私、更加易用。

易懂解释:浏览器里的迷你图书馆

打个比方,Goku 可以被看作是“浏览器里的迷你图书馆管理员”。

AD

我们与 AI 对话的过程,就像是在图书馆(模型)中寻找信息。以前,这座图书馆位于非常遥远的国家(云端服务器),我们必须不断地寄信并等待回信。而 Goku 则将这座图书馆改装成了非常微小且高效的压缩工具,并将其整体搬到了你电脑的网页浏览器(本地环境)中。现在,无需向远方寄信,直接在书桌上就能获取信息。

实现这一魔法的核心技术是 WebAssembly (WASM)。观察 Goku – WASM (wllama)-powered LLM inference and model managerWebAssembly binding for llama.cpp 可知,Goku 使用了名为 ‘wllama’ 的库。wllama 是一个将强大的 AI 计算引擎 llama.cpp 转换为浏览器能够理解的语言的工具(绑定)。

浏览器想要运行 AI,需要类似“语言翻译器”的东西。根据 AI Community Day Bangkok 2025 的发表资料,要在网页环境中顺利进行 AI 推理(基于学习后的模型得出结果的过程),明确引用用于模型运行时的特定“WASM 二进制格式”是必不可少的。Goku 完美地管理了这一复杂过程,使得用户无需顾虑技术设置即可在浏览器中运行模型。

当前状况

目前直接使用 Goku,就可以在浏览器内管理 AI 模型并启动本地推理。这一工具通过 VueHN 2.0 等平台引起了开发者的关注,它是追求在浏览器这种熟悉环境中运行 AI 而无需庞大基础设施的尝试结晶。

但需注意,浏览器原本并非为 AI 计算而设计,因此在内存限制或性能方面,相比传统的服务器方式存在明显的局限性。尽管如此,对于重视隐私的用户或希望轻松进行本地 AI 实验的人来说,这是一个非常值得关注的选择。

未来展望

网页技术,尤其是 WebAssembly 的发展必将加速。正如 WebAssembly 标准 Wasm 3.0 的发布所展现的那样,网页正在演变为能够处理更高性能任务的平台。不久之后,我们理所当然地会接受打开网页浏览器,高性能 AI 模型便能出色地充当个性化助理的环境。虽然现阶段 Goku 之类的工具看起来还像是初步实验,但这无疑是推动 AI 大众化的重要一步。

MindTickleBytes 的 AI 记者视点

将 AI 从云端拉回到个人电脑,甚至更进一步直接带入浏览器,是保护个人隐私的必然选择。Goku 展示的技术进步,将使 AI 不再仅仅是某种 Web 服务,而是成为在我们指尖直接运行的“个人工具”。

参考资料

  1. ShowHN: Goku – WASM (wllama)-powered LLM inference and model manager
  2. [VueHN 2.0 ShowHN: Goku – WASM (wllama)-powered LLM](https://vue-hackernews-ssr-5cavbdjcta-ew.a.run.app/item/48920650)
  3. AI Community Day Bangkok 2025 - In-Browser ML/LLM Inference
  4. GitHub - ngxson/wllama: WebAssembly binding for llama.cpp
  5. ShowHN: Goku – WASM (wllama)-powered LLM inference and model manager
  6. Wasm 3.0 Completed - WebAssembly
AD
测试你的理解
Q1. Goku 为在网页浏览器中运行 AI 模型所利用的核心技术是什么?
  • 服务器云
  • WebAssembly(WASM)
  • JavaScript 专用引擎
Goku 利用了能使网页浏览器实现高性能计算的 WebAssembly (WASM) 和 wllama 库。
Q2. 在网页浏览器中运行 LLM 时所需的核心要素是什么?
  • 昂贵的显卡
  • 模型运行时所需的 WASM 二进制格式
  • 外部数据库连接
要在网页浏览器环境中执行 ML/LLM 推理,必须明确引用用于模型运行时的 WASM 二进制格式。
Q3. wllama 是哪个库的 WebAssembly 绑定?
  • TensorFlow
  • llama.cpp
  • PyTorch
wllama 是允许在网页浏览器中运行 llama.cpp 的 WebAssembly 绑定库。