如果將 AI 助理直接放進電腦的黑畫面中會怎樣？ (feat. 脈絡視窗)

想像一下。你在公司被賦予了一項重責大任，必須總結數十份份量龐大的季度業績報告。通常你可能會經歷這些過程：首先握著滑鼠，將 Excel 檔案與 Word 文件一一打開。反白拖曳內容後複製 (Ctrl+C)。接著切換到網頁瀏覽器上開啟的人工智慧聊天機器人 (ChatGPT、Claude 等) 視窗，貼上 (Ctrl+V) 後，用心輸入「請幫我總結這些內容」。如果只有一兩個檔案還能忍受，但如果是數十份長達幾百頁的文件呢？光是這複製貼上的單調勞動過程，就足以耗掉你寶貴的一天。而且要是聊天機器人還吐出紅色的錯誤訊息：「輸入字數過多，無法一次處理」，那眼前真的是一片黑，準時下班的希望也跟著泡湯了。

然而，坐在你旁邊的天才開發者同事，卻用稍微不同的方式工作。他根本連滑鼠碰都不碰。只是打開一個只有在駭客電影中才會出現的、黑色背景上閃爍著白色字體的「終端機 (Terminal)」視窗。然後劈哩啪啦地打了幾行看不懂的英文單字，並若無其事地按下 Enter 鍵。結果短短幾分鐘內，數十份文件就被完美總結，一個只萃取出核心內容的報告檔案就這樣在桌面上誕生了。這位同事的電腦裡究竟發生了什麼魔法？他既沒有連上聊天機器人網站，也沒有做過任何一次複製貼上的動作。

這正是我們今天將要探討的最新人工智慧技術的生動現場。矽谷的開發者與資料科學家們，現在已經不再只把人工智慧當作在網頁視窗中聊天的「聊天機器人」來使用。他們將人工智慧直接召喚到自己電腦作業系統的最深處，讓它親手處理和操作硬碟裡的所有檔案與資料。這種像魔法般的事情是如何辦到的？這都要歸功於「命令列介面 (CLI, Command-Line Interface)」工具的驚人發展，以及讓 AI 能夠一次讀取並記憶的腦容量爆發性成長的「脈絡視窗 (Context Window)」進化。今天在 MindTickleBytes 中，我們將把這些日常聽起來有些艱澀的最新技術趨勢，用像好朋友邊喝咖啡邊聊天般的輕鬆有趣方式，為您解說。

這為何重要？ (Why It Matters)

捨棄滑鼠，改用鍵盤：GUI 與 CLI 的決定性差異

為了理解這項技術為何重要到足以徹底顛覆我們的工作方式，我們必須先清楚了解我們日常使用電腦的方式「GUI」，以及專家們偏好的「CLI」兩者之間決定性的差異。

我們平時打開電腦時，習慣看到華麗的圖示與資料夾圖案，並移動游標進行「點擊、點擊」的畫面。這被稱為「GUI（圖形使用者介面，Graphical User Interface）」。由於它由圖片與按鈕組成，直觀且易於學習，但當需要一口氣處理數十個檔案等複雜且重複的工作時，會因為需要頻繁的繁瑣操作而大幅拖慢工作速度，這是一個致命的缺點。相反地，專家們所熱愛的「CLI（命令列介面，Command-Line Interface）」則純粹透過文字形式的指令與電腦進行溝通。畫面上沒有華麗的圖片，只存在一個可以輸入文字的閃爍游標。

為什麼偏要堅持這種看起來困難又枯燥的模式呢？讓我們用高級餐廳來打個比方會更容易理解。 如果 GUI 是客人看著滿是精美食物照片的菜單，然後呼叫服務生點菜的過程；那麼 CLI 就像是客人直接闖入廚房，對著主廚下達極為具體又迅速的指令：「把冰箱第二層角落裡的鮭魚和蘆筍拿出來，放進攝氏 200 度的烤箱裡精準烤個 15 分 30 秒」。因為中間不需要透過服務生和翻閱菜單，速度自然是無可比擬的快。而且，就算是既定菜單上沒有的千奇百怪、複雜無比的料理，也能隨心所欲地完美操控並製作出來。

近年來，隨著大型語言模型 (LLM, Large Language Model) 技術急遽發展，這個被稱為 CLI 的祕密廚房裡，開啟了直接雇傭「天才 AI 主廚」並讓其 24 小時駐守的新時代。使用者不再需要開啟網頁瀏覽器辛辛苦苦地複製貼上文字。從 LLM：用於與大型語言模型互動的 CLI 實用工具與 Python 函式庫 的案例中可以看出，使用者只需在電腦的終端機視窗中，像透過管線輸送一樣傳送自己撰寫的 Python 程式碼檔案內容，並下令：「請詳細解釋這段程式碼」。

舉個例子吧？只要輸入 cat myfile.py | llm -s "Explain this code" 這短短一行文字指令就能完成一切。簡單來說，這裡的 cat 代表打開檔案的蓋子並顯示內容，而 |（管線符號）就像連接水管一樣，把那些傾瀉而出的檔案內容一滴不漏地直接倒進 AI (llm) 的嘴裡。你甚至不需要連上網站或登入，電腦裡的檔案、資料庫、系統設定就能直接與 AI 的大腦連通。這讓不必要的滑鼠點擊時間完全消失，人類的工作效率也將提升到超越想像的境界。

輕鬆理解 (The Explainer)

AI 無極限的短期記憶力，脈絡視窗（Context Window）的魔法

那麼，AI 究竟是如何一次性讀取散落在我們電腦資料夾中的無數檔案與程式碼，並完美理解其中的上下文呢？為了理解未來的 AI 時代，這裡出現了兩個你必須掌握的核心概念。那就是「Token」與「脈絡視窗 (Context Window)」。

打個比方，Token 就是「語言的樂高積木」。「蘋果」這個詞可能是一個樂高積木 (Token)，而像「變形金剛 (Transformer)」這類複雜的外來語，可能會被粉碎成 3 到 4 個 Token。一般來說，在英文中，可以把一個單字大約當作被轉換成 1.2 個 Token 來看待。

而能夠一次把這麼多切碎的樂高積木 (Token) 放在書桌上，並將前後上下文串聯起來思考的 AI 的「短期記憶力」或「工作空間」，我們就稱之為 脈絡視窗 (Context Window)。

為了幫助理解，我們把它比喻為複雜的犯罪調查狀況。想像你是一名負責調查錯綜複雜連環案件的資深刑警。為了解決案件，你必須把幾百張案發現場照片、十名嫌犯一個月的通話紀錄、數十名目擊者的筆錄等龐大且碎片化的證據資料，全部塞進腦海裡仔細比對，並找出矛盾點。在這裡，「脈絡視窗」就代表著你能夠把所有證據資料互不重疊地攤開，一眼看盡並能畫上紅線進行交叉分析的調查小組巨大的「白板大小」。

可惜的是，在早期的 AI 中，這塊白板實在是太小了。充其量只是一個勉強能貼上三四張 A4 紙的狹小空間。所以，當你把第一位嫌犯的筆錄貼在白板上仔細閱讀時，為確認第二名嫌犯的不在場證明而拿出新文件時，你別無選擇，只能把已經貼在上面的第一份文件撕下來丟掉。理所當然地，AI 很快就會忘記它剛剛讀過的重要內容，給出牛頭不對馬嘴的回答，甚至出現捏造謊言的幻覺 (Hallucination) 症狀。

但現在情況已經完全改觀。歸功於硬體的驚人發展與 AI 演算法的創新，AI 所使用的白板面積，已經擴展到像一座巨大的世界盃體育場一樣遼闊。根據 擁有最大脈絡視窗的 LLM 的技術報告，當今業界最領先的頂尖 LLM，基本都支援能夠一次無誤處理多達 40 萬到最高 100 萬個輸入 Token 的超巨大脈絡視窗。

這 100 萬個 Token 到底在現實生活中是多龐大的份量呢？這意味著你只要提出一次問題，它就能一口氣將正在運行的電腦程式幾十萬行原始碼（Codebase）、律師才看得下去的好幾百份密密麻麻的法律合約文件、長達數小時紀錄片影片的完整逐字稿文字，甚至特定使用者與 AI 長達好幾個月每天聊天的所有對話紀錄，從頭到尾毫不遺漏地攤開在這塊巨大的白板上，並在轉瞬間閱讀完畢，這份量極其驚人。如今變聰明的 AI，再也不用捏一把冷汗、結結巴巴地回想「剛才第一份文件裡說了什麼來著？」，而是能將你一次丟給它的數千個檔案，零誤差地同時看穿，並得出完美的上下文分析結果。

現狀 (Where We Stand)

這項驚人的技術躍進不只是大學實驗室裡那些厚重論文中的遙遠未來故事。此時此刻，它正是全球無數資料科學家與程式設計師的黑色終端機視窗中每天上演的生動且充滿活力的現實。

隨心所欲挑選使用的 100 種以上人工智慧大腦

過去我們必須連上特定全球企業獨占提供的單一聊天機器人網站，只能被動使用他們所允許的人工智慧模型。但現在，聰明的使用者會根據自己的工作情況和預算，像更換智慧型手機保護殼一樣，輕鬆替換著人工智慧的大腦來使用。正如 llm · PyPI 中所明示的，只要安裝好這款名為「llm」的 Python CLI 工具應用程式，你就能透過終端機視窗裡的一行指令，在 OpenAI、Anthropic、Gemini 等科技巨頭砸下天文數字開發出的頂尖商用 AI 模型，與直接下載到電腦硬碟裡、不需網路就能離線運行的「本機人工智慧模型」之間來去自如地切換操作。

目前世界上每天都有著超乎想像、擁有各種不同個性的人工智慧如雨後春筍般湧現。看看 LLM 排行榜 - 來自 OpenAI 等超過 100 種 AI 模型的比較… 網站所統計的數據，多達 100 種以上的 AI 模型正在展現各自的專長。它們正為了智慧的邏輯準確度、每個 Token 的使用價格、文字輸出的打字速度、延遲時間 (Latency)，以及前面深入探討過的脈絡視窗最大支援大小等各種核心指標，展開激烈的生存競爭。

管理這數量龐大的模型，現在也能在終端機內完美達成。利用像是 列出各供應商可用 LLM 模型的 CLI 工具 這樣的管理工具，就能在終端機環境中將各家廠商的 API（應用程式介面）金鑰安全加密設定好，並乾淨俐落地查詢與指揮目前你的電腦能立刻呼叫的所有人工智慧列表。熟練的工作者就像管弦樂團的指揮家一樣，可以完美指揮：是要用最聰明、最昂貴的模型來解開高難度的數學演算法問題；還是要用速度如閃電般快且 100% 免費的本機小型模型，來進行單純的文字錯字校正。

在封閉網路中起舞的本機模型與終極安全

最近在專家與開發者社群中爆炸性成長的另一個革命性趨勢，就是能在離線環境下完美運作的本機 AI 模型的普及化。如果為了解總結包含企業核心技術的機密原始碼，或是幾百萬人身分證字號的病患資料，而將資料透過網路原封不動地傳送到其他全球科技巨頭的雲端伺服器上，在資安考量上絕對是無法容忍的危險行為。

甚至看看 透過 llama.cpp 在 OpenCode 中使用本機 LLM – Aayush Garg 部落格文章的案例，這類本機 LLM 已經超越了單純的一問一答用途，發展到能直接像 API 一樣連接到寫程式專用的輔助平台（如 OpenCode 等），在打字的瞬間自動補齊程式碼的階段。6 款最佳的本機執行模型 LLM 工具 這篇報導同樣也強調，這些工具已經不再停留在過去終端機指令的程度，而是在我們的電腦環境中出色地扮演起專屬 API 伺服器的角色，在離線環境下提供與使用 OpenAI 付費服務完全一樣的流暢體驗。

「不知道的話就搜尋找給你」—— 幻覺現象的完美治療法

然而，無論再怎麼聰明的天才人工智慧，依然存在著必須克服的致命阿基里斯腱。那就是當遇到自己不知道的事實時，它不會坦率承認不知道，而是會用理直氣壯且合乎邏輯的態度捏造出似是而非的謊言，這就是所謂的「幻覺 (Hallucination)」現象。當開發者拜託 AI「請用最新的 React 框架語法寫出網站骨架」時，AI 非常頻繁地會以它去年學過、早就過了賞味期限的老舊知識為基礎，自豪地寫出一套現在根本無法運作的報廢程式碼。

為了在事前完美阻絕這種致命錯誤，像 GitHub - upstash/context7: Context7 平台 – 最新程式碼… 平台這樣具備突破性且聰明的工具應運而生。如果將這個系統的運作方式比喻為我們現實中經歷的事，那就等於是把原本只能在門禁森嚴的考場中進行的「記憶力測試」，直接把規則改成了隨時都能翻書尋找答案的「Open Book 考試」。

它不會放任 AI 只依賴自己過去模糊的學習資料去勉強拼湊記憶寫出答案。當使用者丟出提示（指令）的瞬間，名為 Context7 的輔助工具就會如閃電般連上網路與最新官方文件庫。然後抓取與問題最相關的、完全符合特定軟體版本的最新官方手冊文件，以及在實務上保證能毫無錯誤運作的熱騰騰最新程式碼範例。接著，將這些資訊整齊地擺放在前面提過的 100 萬 Token 巨大的脈絡視窗（工作桌）上，並與使用者的問題合而為一，注入 AI 的大腦。

AI 現在完全不需要硬擠出過去的老舊知識了。只要慢慢精讀剛剛送到桌上這份 1 分鐘前最新的完美手冊，然後照著手冊上的內容產出正確答案即可。結果就是，產出錯誤程式碼的幻覺機率發生突破性地降低到趨近於 0，而開發者也能獲得只要複製貼上就能馬上執行服務的完美程式碼。

更進一步來說，當需要搜尋龐大的公司內部文件時，像 使用 Qdrant 進行檢索 - Docling 的最新案例，甚至會結合能將硬體支援發揮到極致的向量嵌入技術（FastEmbed）。透過這些技術，在 CLI 視窗內能以光速翻遍高達數千萬筆的龐大文字資料，像鑷子一樣精準挑出相關性最高的資訊，然後推擠到 AI 的視窗裡，目前這股強大的技術綜效正在爆炸性地上演。

此外，在資料格式方面，也在以驚人的速度不斷進化。不只是為了讓人眼方便閱讀的柔和長篇文章，連電腦程式之間通訊所必需的機械化資料格式也在考量之列。Linearis, 為人類（與 LLM 代理）打造的 Linear CLI 工具 這項工具在處理實務界廣泛使用的專案管理工具 Linear 的資料時，不再只是吐出一堆文字，而是為了讓 AI 代理（機器人）與人類程式設計師都能非常容易進行二次加工，乾淨俐落地以完美結構化的 JSON 格式輸出結果。這意味著 CLI 吐出的資料由 AI 吸收，而 AI 給出的答案再由其他軟體毫無誤差地處理，這種流暢的齒輪連鎖作用已全面成真。

未來將會如何？ (What’s Next)

跨越螢幕裡的嘴巴，開始觸摸數位世界產生「行動」的人工智慧

如果說過去的人工智慧還停留在拿著放大鏡努力閱讀使用者丟過來的龐大文件，並親切地在螢幕上用文字給出回答的優秀「秘書」或不吝給予建議的「顧問」層級的話，我們即將迎來的未來人工智慧將截然不同。它將完全蛻變為一個能直接踏入我們的電腦系統中，親自挽起袖子、流著物理上的汗水積極工作的可靠「獨立實務執行者」。而將這一切從幻想化為現實的終極技術，正是 「工具使用 (Tool Use)」 或是 「函式呼叫 (Function Calling)」 的能力。

令人驚訝的是，這巨大的典範轉移並不是遙遠未來的預測，而是此刻正發生在我們眼前的現實。根據 大型語言模型能在您的終端機中使用 LLM 0.26 執行工具 這篇有趣的報導，隨著全球無數專家愛用的「llm」CLI 工具進行了 0.26 主要版本的大規模更新，該專案啟動以來最令人震驚且具破壞性的新功能也被搭載了上去。那就是，蜷縮在終端機裡的大型語言模型終於被賦予了強大的權限，可以不需逐一徵求人類許可或批准，自行進行邏輯判斷，並直接執行安裝在使用者電腦裡的各種第三方「工具 (Tools)」。

這對一般使用者來說，到底有什麼巨大的意義呢？讓我們想像一下不久前的無奈過往。當使用者提問：「請幫我把桌面上這張掃描的紙本文件照片提取出文字，並轉成 Word 檔」，AI 只會用文字親切地告訴你一些不著邊際的方法論：「請安裝 Python 的 Tesseract 函式庫，然後親自撰寫各種腳本程式碼，輸入到終端機後執行喔」。收到指示的人只能把 AI 的建議開在螢幕角落，親手敲擊鍵盤，並獨自承受修改錯誤的勞動力。打個比方，它就像是一個坐在冷氣房裡、背著手用嘴巴對你指指點點的討厭現場監督員而已。

但現在，對於 0.26 版本之後進化的 AI 來說，不僅有張只會說話的「嘴」，更被賦予了能在數位世界中強力行使物理力量的「手腳」，也就是說能把它們真正握起鐵鎚與十字螺絲起子（數位工具）。翻開 GitHub - markomanninen/llm-experiments: 大型語言模型… 這些開源儲存庫裡不斷湧現的最新實驗案例，那已經不只是令人敬畏，甚至會讓人感到背脊發涼。深植在終端機黑色 CLI 環境中的人工智慧，如今已遠遠超越單純的文字聊天層次。不管是能將音訊檔案轉換為其他格式或直接播放的系統控制工具、乾淨俐落地分類整理那些無聊又複雜到看都不想看的數值資料的資料管理工具、能將自己剛寫好的程式碼在虛擬沙盒環境中即時編譯並運行的程式碼執行器 (Code runner)，甚至是為了讓人類使用者在工作中能稍微放鬆，而在終端機視窗裡玩起井字遊戲 (Tic-Tac-Toe) 或是西洋棋這類經典遊戲（並且還能完美遵守遊戲規則），這些主動式的函式呼叫能力已經完全成為了它的標準配備。

想像一下，就在明天早上，你揉著疲倦的雙眼來上班，在電腦前的黑色終端機視窗裡若無其事地輸入這段文字： 「幫我分析今天凌晨下載到公司共用資料夾裡的 30 份各分公司 Excel 檔，然後把『淨利潤』項目顯示為紅色赤字的欄位全部萃取出來。把這些資料匯總，轉成一份包含美觀圓餅圖且排版乾淨的 PDF 報告檔，接著用『緊急：赤字分公司報告』這個主旨，立刻寄給我們組長的 Email 信箱。」

這在短短一兩年前，還是個只可能對電影《鋼鐵人》裡的賈維斯下達、只存在於科幻小說中荒誕不經的指令。但在能消化數百萬 Token 的巨大脈絡視窗，與自主 CLI 工具執行權限完美結合的最新 AI 探員面前，這不過是個平凡無奇且無聊的早晨例行公事。 收到這項複雜指令的 AI，便會快速啟動自身的邏輯引擎，開始按部就班地執行以下行動：

1. 自行拿出「本機檔案搜尋工具」，毫不遺漏地將資料夾內的 30 份 Excel 檔找出來並讀取到記憶體中。
2. 將這幾十萬個儲存格資料全部攤開在 100 萬 Token 巨大的脈絡視窗中央，仔細比對數字，聰明且敏銳地挑出赤字分公司的資料。
3. 自行撰寫資料視覺化程式碼，並直接執行「資料圖片轉換工具」，一氣呵成畫出美觀的圓餅圖。
4. 運行「PDF 格式產生器」工具，將萃取出的文字與畫好的圖片組合在一起，悄悄地在桌面上生成 1 份像模像樣的文件檔。
5. 最後，操控連動於系統的「電子郵件 SMTP 發送工具」，指定正確的收件人並將信件發射出去。

在你走到茶水間，用咖啡機沖好一杯熱美式咖啡回來之前，這所有複雜又需要人工繁瑣操作的多步驟流程，就已經在黑色終端機視窗內以閃電般的速度，安靜且完美地處理完畢了。你回到座位後，只需要欣慰地看著畫面上 AI 在完成發送後所顯示的短短一行文字：「您吩咐的工作已成功完成」。

人工智慧現在已經不再是被關在螢幕裡方形網頁瀏覽器視窗這座狹小監獄中，只會苦苦等待使用者提問並敲打打字機的被動且無趣的存在了。它正作為一個強大且全能的管理員，直接統御並隨心所欲地操作電腦檔案系統與網路這類數位世界的複雜物理法則，大步邁進我們日常生活與工作的最深處。

AI 的觀點 (AI’s Take)

以 MindTickleBytes 細心的 AI 專業記者視角，針對這次最新技術趨勢的總結如下：

「人工智慧如今已跨越那種只會滔滔不絕回答問題的『說客』層次，完美進化為深深扎根於我們電腦心臟——作業系統最深處，並親自流汗打拚的『實幹家』。擁有能一次性、零延遲地完美記住過去所有對話與龐大公司歷史的 100 萬 Token 壓倒性脈絡視窗腦容量，加上同時獲得了能自行操作各種軟體設備的『工具執行 (Tool Use)』這雙無敵物理手腳，未來的 AI 將會如何從根本上粉碎人類工作方式與生產力的極限，並再次偉大重組，這甚至讓人產生了一絲敬畏感。

在我們每天注視著的黑色終端機畫面中，躲在閃爍的白色游標後面待命的、屬於你個人的全能主廚，今天也為了你，完成了準備所有異想天開料理的準備。就在你放下滑鼠、將手放上鍵盤的那一刻起，你那陳舊且令人窒息的工作環境，將會轉變為與 AI 共同呼吸的無限可能空間。那麼，現在你要向這位主廚點取什麼樣令人驚豔的奇蹟料理呢？」

參考資料

1. Linearis, 為人類（與 LLM 代理）打造的 Linear CLI 工具
2. GitHub - markomanninen/llm-experiments: 大型語言模型…
3. 透過 llama.cpp 在 OpenCode 中使用本機 LLM – Aayush Garg

4. [在本機運行 LLM：7 種簡單的方法

   DataCamp](https://www.datacamp.com/tutorial/run-llms-locally-tutorial)

5. 擁有最大脈絡視窗的 LLM
6. 列出各供應商可用 LLM 模型的 CLI 工具
7. GitHub - upstash/context7: Context7 平台 – 最新程式碼…

8. [什麼是脈絡視窗？

   IBM](https://www.ibm.com/think/topics/context-window)

9. 使用 Qdrant 進行檢索 - Docling
10. LLM 排行榜 - 來自 OpenAI 等超過 100 種 AI 模型的比較…

11. [使用 worktree-compose 進行 LLM 基準測試

    Mostafa Ali…

    LinkedIn](https://www.linkedin.com/posts/mostafasudo_im-guilty-of-jumping-on-a-new-llm-and-benchmarking-activity-7431765787385679873-GUDD)

12. 大型語言模型能在您的終端機中使用 LLM 0.26 執行工具
13. llm · PyPI
14. LLM：用於與大型語言模型互動的 CLI 實用工具與 Python 函式庫
15. 6 款最佳的本機執行模型 LLM 工具