我的智能手机里隐藏着 14MB 的 AI 代理？'Needle2' 来了

想象一下。早晨醒来，你对着智能手表说：“根据今天的日程，把家里温度调到 22 度。”你的智能手表无需经过服务器，就能立即理解并执行这个请求。这不是因为有什么庞大而笨重的 AI，而是因为一个像呼吸一样轻盈的人工智能正在你的手腕上运行。

最近，Cactus Compute 公开的 Needle2 正是引领这一未来的技术。这个大小仅为 14MB 的超小型人工智能模型，正试图为我们身边的设备注入生命力。

为什么这很重要？

长期以来，AI 技术一直追求“更巨大、更庞大”。但是，要运行大型语言模型（LLM，通过学习海量数据像人类一样写作的 AI），需要巨大的服务器容量和电力。因此，在智能手机或智能手表等日常设备上直接运行大型 AI 几乎是不可能的。

像 Needle2 这样的超轻量模型向我们展示了“端侧 AI（On-device AI，无需连接外部服务器，在设备本地运行的人工智能）”的可能性。这意味着在智能手机、可穿戴设备、机器人，甚至像 ESP32-S3 这样的微型计算机（微控制器）上，也能享受即时的 AI 服务。由于数据无需上传至服务器，这更有利于保护隐私，即使在互联网连接不稳定的环境下，也能使用 AI 代理（代表用户执行命令的 AI）功能。

通俗理解：从“教授”到“秘书”

这样比喻很容易理解。如果说现有的巨型语言模型是像百科全书一样把世间所有知识装在脑子里的“博学教授”，那么 Needle2 就是一位小巧、机敏的“资深秘书”。

博学教授虽然善于交谈，但在像秘书那样实际操控办公室设备或运行应用程序方面可能并不擅长。相反，Needle2 没有将能力浪费在闲聊上，而是专注于 工具调用（Tool calling，AI 直接控制外部应用程序或设备的功能） 和 结构化数据提取。这个拥有 2600 万个参数（Parameter，AI 存储知识的可调数值）的模型速度极快，在移动设备上每秒可处理 1000 到 6000 个 Token（Token，AI 感知的单词单位）。

简而言之，Needle2 是一个虽小但快、能够精准执行你下达任务的“实务型秘书”。特别值得注意的是，该模型经过训练，能够意识到自己出错并请求协助（Request assistance）。

现状

目前，Needle2 已准备好在以下环境中运行：

• 超小容量：由仅 14MB 的二进制（Binary）文件组成，仅需约 28MB 的内存（RAM）即可运行。
• 多元平台：不仅是智能手机，还支持可穿戴设备、机器人、智能家居、汽车等多种设备。
• 技术特性：以开源的 Apache 2.0 许可证发布，任何人都可以从 Hugging Face 下载模型权重并使用。
• 云端联动：默认在设备本地运行，但必要时也具备云端回退（Cloud fallback）功能。

不过，由于它不是通用的对话式 AI，并不适合用来和朋友闲聊。它是一个专注于设备控制等代理任务的模型。

未来将会怎样？

像 Needle2 这样的技术将从根本上改变我们使用设备的方式。也许我们不再需要逐一查找并点击复杂的应用程序菜单。智能手机屏幕将不再是搜索的空间，而变成 AI 代替我们执行命令的地方。

未来可能会出现比 14MB 更小的模型，当这些模型与更多设备相结合时，默默辅助我们生活的那一天终将到来。AI 将不再是庞大地存在于服务器中，而是以更小、更实用的姿态，留在你的口袋里和手腕上。

---

MindTickleBytes 的 AI 记者视角

如果巨型模型是“智能的巅峰”，那么 Needle2 就是“智能的民主化”。技术越轻盈，我们的生活就越自由。下一次看智能手表时，想象一下那个小小的设备成为你贴身秘书的未来吧。

参考资料

1. GitHub - cactus-compute/needle: 14MB foundation model for tiny devices; phones, wearables, smart home, and robots.
2. Cactus - On-device AI for Smartphones, Laptops & Edge

3. [Show HN: Needle: We Distilled Gemini Tool Calling into a 26M Model

   Hacker News](https://news.ycombinator.com/item?id=48111896)

4. GitHub - jmccardle/cactus-needle: Cactus foundation model for tiny devices; 14mb, 26m params, 1-6k toks/sec on mobiles, wearables smart home and robots.

5. [Needle - Tiny LLM for Edge Devices

   EveryDev.ai](https://www.everydev.ai/tools/needle-cactus-compute)

6. Needle, a lightweight version of Gemini’s tool invocation functionality designed to run on smartphones, has been released, with developers touting its usefulness in building AI agents for mobile devices. - GIGAZINE

7. [Needle2- The14MBAgenticLLMforTiny Devices

   Cactus](https://cactuscompute.com/needle)

8. ShowHN:Needle2:14MBagenticLLMforphones,wearables,smarthomeandrobots.
9. Needle2:14MBagenticLLMtargetsphones,wearables, and robots
10. AgenticAIPhonesand the Future of Indian Banking

11. [Cactus NeedleAgenticLLMfortiny devices

    Vuink.com](https://vuink.com/post/pnpghfpbzchgr-d-dpbz/needle)