口袋裡的 AI，是如何塞進 iPhone 的？

想像一下。您正搭乘飛機，處於無法連上網路的高空。這時突然閃過一個靈感需要整理，或是想摘要一篇冗長的通知內容。此時，iPhone 就成了您身邊聰明的 AI 助理，即使沒有網路也能運作。

過去，要執行龐大的人工智慧模型需要耗費巨大的伺服器資源。但現在，口袋裡的 iPhone 就已足夠。究竟這項巨型技術是如何塞進小巧的裝置中呢？秘訣就在於蘋果特有的「手術般精準的效率」。

為什麼這很重要？

AI 不在雲端（伺服器）而是在手機內直接運作，這稱為「端側 AI (On-device AI)」。這項技術之所以重要，主要有三個原因。

首先是隱私保護。您的數據不會外流，而是在手機內部處理。其次是速度。無需等待將網路訊號發送至伺服器並接收回傳的時間。最後是連續性。即使在網路緩慢或沒有網路的地方，AI 助理也能持續不斷地協助您。

輕鬆理解：將 AI 從厚重書籍變成摘要版

決定 AI 模型大小的是「參數 (Parameter)」的數量。參數簡單來說，就是 AI 在學習過程中記憶並能「調整的數值」。擁有 30 億個參數的 AI 模型原本會佔用極大的資料量。

換句話說，這就像是隨身攜帶數千頁的厚重專業書籍。蘋果不選擇直接帶著這本巨著，而是使用了將內容保留並智慧壓縮成摘要版的技術。

1. 調色盤化 (Palettization)：這與繪畫時使用的「色盤」類似。不記錄數萬種細微色彩，而是選出代表性的幾種顏色並編號。例如，透過混合 2 位元與 4 位元方式，將 30 億個參數縮減至驚人的約 1.39GB 出處: How Apple Fits an LLM on Your iPhone - daily.dev。

2. 高效的硬體調度：蘋果不僅止於壓縮模型，還設計讓 iPhone 的大腦 CPU (中央處理器)、負責繪圖的 GPU (圖形處理器) 以及 AI 專用腦 Apple 神經引擎 (ANE, Apple Neural Engine) 有效分工 出處: How Apple Fits an LLM on Your iPhone · proomt。

現況：精巧優化的結果

為了讓巨型 AI 模型在 iPhone 上流暢運作，蘋果不僅縮減了容量，還添加了許多技術上極其精密的功能。

• KV 快取共享：為了減少資料運算的重複，透過共享各層 (Layer) 之間的記憶體「KV 快取」，將記憶體佔用降至最低。
• LoRA 適配器：不替換整個巨大模型，而是利用執行特定任務時才短暫調用的輕量輔助工具「LoRA 適配器」來優化性能。
• 雲端備援：對於 iPhone 自體資源難以解決的複雜問題，則透過將資料傳輸至具備安全防護的蘋果雲端，作為「安全的輔助手段」以彌補性能限制 出處: How Apple Fits an LLM on Your iPhone · proomt。

未來展望

蘋果將持續研究如何在縮小模型尺寸的同時維持其性能。此外，亦有消息指出，蘋果正與矽谷具前景的新創公司合作，進一步精進模型壓縮技術 出處: Apple in talks with startup that shrinks AI models to run on …。未來的 iPhone 將能以更少的電力，完成更複雜且驚人的任務。

AI 的視角 (MindTickleBytes AI 記者的視角)

蘋果選擇的道路，並非單純向大眾炫耀「我們的 AI 更聰明」這種技術實力。他們專注於將技術的本質——「效率」——提升至極致，讓使用者無論何時何地，都能以最舒適的方式使用 AI。終究，技術的贏家不在於能塞進多少性能，而在於能將技術多自然、多方便地融入使用者的日常生活中，蘋果對此作出了最佳示範。

參考資料

1. How Apple Fits an LLM on Your iPhone - daily.dev
2. How Apple Fits an LLM on Your iPhone - blog.bytebytego.com
3. How Apple Fits a LLM on Your iPhone With Surgical Efficiency
4. Apple in talks with startup that shrinks AI models to run on …
5. How Apple Fits an LLM on Your iPhone · proomt