介紹「Goku」工具的出現及其運作原理,讓你能在網頁瀏覽器中直接在本機執行 AI 模型。
想像一下:即使斷開網路連線,也不必擔心個人資料被傳送至伺服器,僅靠一個網頁瀏覽器視窗就能執行專屬的智慧 AI 助理,那會是什麼樣子?過去,若要使用人工智慧(AI)服務,通常必須透過大型伺服器或另外安裝複雜的程式。然而,最近出現的一款名為「Goku」的工具,正試圖徹底改變這種情況。
為什麼這很重要?
通常我們在使用 ChatGPT 等 AI 服務時,問題會透過網際網路傳送到遠方的公司伺服器。雖然便利,但若要輸入敏感的個人資料時,難免會有所顧慮。此外,要在個人電腦上直接執行 AI 模型,通常需要複雜的程式編碼知識或高規格配置,對於一般使用者而言門檻極高。
Goku 將上述過程帶入了我們熟悉的「網頁瀏覽器」環境。根據 ShowHN: Goku – WASM (wllama)-powered LLM inference and model manager 的介紹,Goku 讓你能夠直接在瀏覽器中管理並執行大型語言模型(LLM,透過學習龐大數據以像人類般進行對話的 AI)。換句話說,無需額外龐大的伺服器基礎設施,就能在瀏覽器內建立 AI 運作環境。這意味著一個 AI 更加隱私、更易於操作的時代即將來臨。
簡單理解:瀏覽器中的迷你圖書館
簡單來說,Goku 可以被視為「瀏覽器中的迷你圖書館管理員」。
我們與 AI 對話的過程,就像從圖書館(模型)中尋找資訊一樣。以前,這個圖書館位於遙遠的異國(雲端伺服器),必須不斷寄信並等待回信。相反地,Goku 將這個圖書館轉換為小型且高效的壓縮工具,直接搬到了電腦的網頁瀏覽器(本機環境)裡。現在,不需要將信件寄到遠方,在自己的桌面上就能直接獲取資訊了。
實現這項魔法的核心技術是 WebAssembly (WASM)。瀏覽 Goku – WASM (wllama)-powered LLM inference and model manager 以及 WebAssembly binding for llama.cpp 可發現,Goku 使用了名為「wllama」的函式庫。wllama 是將強大的 AI 運算引擎 llama.cpp 轉換(綁定)為網頁瀏覽器能理解之語言的工具。
瀏覽器要執行 AI,需要像翻譯機一樣的機制。根據 AI Community Day Bangkok 2025 的簡報資料,若要在網頁環境下流暢地執行 AI 推論(基於學習到的模型導出結果的過程),必須明確參照模型執行時期的特定「WASM 二進位格式」。Goku 俐落地管理了這個複雜過程,協助使用者在無需考量技術設定的情況下,即可在瀏覽器中執行模型。
當前狀況
現在,你可以直接透過 Goku 在網頁瀏覽器內管理 AI 模型並啟動本機推論。這款工具透過 VueHN 2.0 等管道在開發者之間受到矚目,是試圖繞過複雜基礎設施、在瀏覽器這種親近環境中執行 AI 的結晶。
不過,也需要注意一點:瀏覽器原本並非為 AI 運算而設計,因此在記憶體限制或效能方面,明顯會受到既有伺服器方式的制約。儘管如此,對於重視隱私的使用者,或是想輕鬆嘗試本機 AI 的人來說,這仍是一個非常引人注目的選擇。
未來發展如何?
網頁技術,特別是 WebAssembly 的發展將會更加加速。正如 WebAssembly 標準 Wasm 3.0 的發布,網頁正逐步進化為能處理更高效能任務的平台。不久之後,只要打開網頁瀏覽器,高階 AI 模型就能像個人化助理般協助處理各種事項,我們將會視其為理所當然。雖然目前「Goku」這類工具看起來還處於初步實驗階段,但這無疑是推動 AI 大眾化的重要一步。
MindTickleBytes 的 AI 記者觀點
將 AI 從雲端拉回個人電腦,甚至是瀏覽器之內,是保障個人隱私的必然選擇。Goku 所展示的技術突破,將使 AI 不僅止於單純的網頁服務,而是成為在指尖直接操作的「專屬工具」。
參考資料
- ShowHN: Goku – WASM (wllama)-powered LLM inference and model manager
-
[VueHN 2.0 ShowHN: Goku – WASM (wllama)-powered LLM](https://vue-hackernews-ssr-5cavbdjcta-ew.a.run.app/item/48920650) - AI Community Day Bangkok 2025 - In-Browser ML/LLM Inference
- GitHub - ngxson/wllama: WebAssembly binding for llama.cpp
- ShowHN: Goku – WASM (wllama)-powered LLM inference and model manager
- Wasm 3.0 Completed - WebAssembly
- 伺服器雲端
- WebAssembly(WASM)
- JavaScript 專用引擎
- 高階顯示卡
- WASM 二進位格式的模型執行時期
- 外部資料庫連線
- TensorFlow
- llama.cpp
- PyTorch