潛藏在智慧型手機中的 14MB AI 代理？「Needle2」來了

想像一下，當您早上醒來時，對著智慧手錶說：「幫我把室溫調整到 22 度，配合今天的行程。」您的智慧手錶無需經過伺服器，即可立即理解並執行此要求。這並非因為有巨型且沈重的 AI，而是因為一個輕如呼吸般的人工智慧正在您的手腕上運行。

最近由 Cactus Compute 發布的 Needle2 正是一項將這種未來提前實現的技術。這個體積小到令人難以置信的 14MB 人工智慧模型，正試圖為我們周遭的裝置注入靈魂。

為什麼這很重要？

過去，AI 技術一直都在追求「更大、更龐大」。然而，若要運行巨型語言模型（LLM，一種透過學習龐大數據來像人類一樣寫作的 AI），需要極其巨大的伺服器容量與電力。因此，直接在智慧型手機或智慧手錶等日常裝置上運行巨型 AI，實際上幾乎是不可能的任務。

像 Needle2 這樣的超輕量模型，為我們展示了「邊緣運算 AI（On-device AI，無需連接外部伺服器，直接在裝置上運行的人工智慧）」的可能性。這意味著您可以在 智慧型手機、穿戴式裝置、機器人，甚至是像 ESP32-S3 這樣的迷你電腦（微控制器） 上立即享受 AI 服務。由於數據不會發送到伺服器，這在隱私保護方面更具優勢，且即便在網路連接不穩定的環境下，仍能使用 AI 代理（代表使用者執行指令的 AI）功能。

輕鬆理解：與其說是「教授」，不如說是「秘書」

這樣比喻就很容易理解了。如果既有的巨型語言模型是將世間所有知識像百科全書一樣存放在腦中的「博學教授」，那麼 Needle2 就是一位小巧且靈敏的「資深秘書」。

博學教授雖然擅長對話，但可能不擅長像秘書那樣實際操作辦公室設備或執行應用程式。相反地，Needle2 將所有能力集中在 工具呼叫（Tool calling，AI 直接控制外部應用程式或裝置的功能） 與 結構化數據提取，而非閒聊。這個擁有 2600 萬個參數（Parameter，AI 儲存知識的數值）的模型，處理速度極快，在 行動裝置上每秒可處理 1,000 到 6,000 個 Token（Token，AI 識別的字詞單位）。

簡而言之，Needle2 雖然小巧迅速，卻是一位能精確執行您交辦事項的「實務型秘書」。特別值得注意的是，該模型經過訓練，能 意識到自身出錯並在必要時請求協助（Request assistance）。

目前狀況

目前 Needle2 已準備好在下列環境中運行：

• 超小容量：由僅 14MB 的二進位（Binary）檔案組成，且只需 約 28MB 的 RAM 即可運作。
• 多樣化平台：除了智慧型手機外，還能搭載於 穿戴式裝置、機器人、智慧家庭、汽車等 各種裝置中。
• 技術特性：以開源的 Apache 2.0 授權 發布，任何人都可以從 Hugging Face 下載模型權重來使用。
• 雲端整合：原則上在裝置本身運行，但必要時也具備 雲端備援（Cloud fallback） 功能。

不過，由於 這不是通用的對話型 AI，因此並不適合用來與朋友聊天。這是一款專門用於裝置控制等代理任務的模型。

未來發展如何？

像 Needle2 這樣的技術，將會從根本上改變我們使用裝置的方式。我們或許不再需要手動查找並點擊複雜的應用程式選單。 智慧型手機螢幕將不再僅是一個搜尋空間，而將變成 AI 代理執行指令的場所。

未來可能會出現比 14MB 更小的模型，而這些模型將與更多樣化的裝置結合，安靜地輔助我們的生活。AI 不再只是巨大地存在於伺服器中，而是以更小、更實用的姿態，隨身停留在您的口袋與手腕上。

---

MindTickleBytes 的 AI 記者觀點

如果說巨型模型是「智慧的巔峰」，那麼 Needle2 就是「智慧的民主化」。當技術變得越輕盈，我們的生活就越自由。下次看到智慧手錶時，不妨想像一下那個小巧的裝置即將成為您專屬秘書的未來吧。

參考資料

1. GitHub - cactus-compute/needle: 14MB foundation model for tiny devices; phones, wearables, smart home, and robots.
2. Cactus - On-device AI for Smartphones, Laptops & Edge

3. [Show HN: Needle: We Distilled Gemini Tool Calling into a 26M Model

   Hacker News](https://news.ycombinator.com/item?id=48111896)

4. GitHub - jmccardle/cactus-needle: Cactus foundation model for tiny devices; 14mb, 26m params, 1-6k toks/sec on mobiles, wearables smart home and robots.

5. [Needle - Tiny LLM for Edge Devices

   EveryDev.ai](https://www.everydev.ai/tools/needle-cactus-compute)

6. Needle, a lightweight version of Gemini’s tool invocation functionality designed to run on smartphones, has been released, with developers touting its usefulness in building AI agents for mobile devices. - GIGAZINE

7. [Needle2- The14MBAgenticLLMforTiny Devices

   Cactus](https://cactuscompute.com/needle)

8. ShowHN:Needle2:14MBagenticLLMforphones,wearables,smarthomeandrobots.
9. Needle2:14MBagenticLLMtargetsphones,wearables, and robots
10. AgenticAIPhonesand the Future of Indian Banking

11. [Cactus NeedleAgenticLLMfortiny devices

    Vuink.com](https://vuink.com/post/pnpghfpbzchgr-d-dpbz/needle)