能自動操控瀏覽器的 AI 助理,什麼是「代理瀏覽器 (Agent Browser)」?

展示 AI 控制瀏覽器過程的現代圖形影像
AI Summary

AI 代理瀏覽器是一項能協助 AI 直接瀏覽網頁並處理任務的技術,無需使用者親自點擊或輸入,實現高效的自動化。

想像一下:早晨起床後,你告訴 AI:「幫我整理今天需要預約的會議,若有需要安排住宿的行程,就直接幫我處理。」沒過多久,AI 就已經訂好機票與住宿,只發送確認郵件給你。超越了單純搜尋資訊的聊天機器人,AI 能直接操控瀏覽器並採取「行動」的時代已經來臨。今天的主角正是讓 AI 能自由穿梭於網路世界的「代理瀏覽器 (Agent Browser)」。

為什麼備受矚目?

過去的 AI 只是以文字回答問題的「諮詢員」,如今 AI 已進化成能進入網站登入、點擊按鈕並填寫複雜表格的「秘書」。參考 16, 參考 17 透過這項技術,我們能從單調的重複工作中解脫。市場潮流正全面轉向「自動化時代」,不再只是在搜尋視窗輸入關鍵字,而是由 AI 代替我們完成任務。參考 17

簡單理解:AI 的雙眼與雙手

在我們眼中,網頁是美觀的設計,但對電腦而言,卻是數萬行複雜的程式碼。若 AI 要讀取所有程式碼,將消耗過多能量。這可以比喻為將照片中多餘背景去除、只留下主角的「濾鏡」。

「代理瀏覽器」會從網頁的複雜程式碼中,萃取出 AI 進行判斷所需的核心資訊,即「無障礙樹 (Accessibility Tree,將網頁要素結構化後的摘要資訊)」。參考 11 歸功於此,AI 相比讀取 JSON 或整個網頁結構 (DOM) 時,能以更少的數據 (Token) 精準掌握狀況。參考 11

AD

特別是 Vercel Labs 公開的「agent-browser」等工具,採用以高效與安全著稱的程式語言 Rust 編寫,安裝體積較現有自動化工具小 99 倍,記憶體使用量降低 18 倍,啟動速度提升 1.6 倍。參考 10 就像選手脫下沉重的裝備,穿著輕便的跑鞋奔跑一樣。

現狀:發展到什麼地步了?

目前,這項技術已在各領域進行實驗。如 Perplexity 的「Comet」或 Google 的 Gemini 瀏覽器整合,皆設計為讓使用者在瀏覽器中直接呼叫 AI 代理。參考 18 開發者也正利用像 Vercel Labs「agent-browser」這類已具備 150 種以上指令的 CLI (命令列介面) 工具,打造屬於自己的自動化機器人。參考 10

但也有需注意之處。隨著 AI 變得聰明,惡意利用的企圖也在增加。專家發現了一種利用「PromptFix」技術欺騙 AI 瀏覽器的手法。參考 20 例如偽裝成驗證碼 (CAPTCHA) 引導 AI 自動輸入使用者的信用卡資訊,或將其引導至釣魚網站。參考 20

未來的發展?

未來的 AI 瀏覽器將會更像「真人」般運作。目前雖僅止於在瀏覽器內動作的階段,但未來「雲端瀏覽器」形式的自動化將會普及,在雲端伺服器上 24 小時不間斷運作。參考 2, 參考 19 當你入睡時,AI 仍會確認預約、整理郵件並為明天做準備。然而,在享受便利之餘,我們也必須睜大眼睛,監督 AI 代替我們執行的工作是否安全、是否正當地處理了個人資料。

MindTickleBytes 的 AI 記者觀點

AI 瀏覽器已超越技術工具,成為將我們生活效率極大化的「數位分身」。但當 AI 點擊網頁的那一刻,安全責任便完全回歸到身為人類的我們身上。在享受便利時,請別忘了謹慎做好安全檢查。

參考資料

  1. [Agentic AI Browser for Deep Search & Automation Fellou](https://fellou.ai/)
  2. [The Browser Your AI Agents Run On Browserless](https://www.browserless.io/)
  3. [Agent-Browser for AI Agents: Simplified UI Testing LinkedIn](https://www.linkedin.com/posts/mobi-soft-org_agent-browser-browser-automation-for-ai-activity-7432318567775113216-2tcM)
  4. Atlas Browser - AI Agent Browser by ChatGPT
  5. [Headless Browser Automation for AI agent-browser B Lab](https://b-lab.team/en/content/39b09e5d-8877-490e-a4da-4374d88c39ac)
  6. BrowserUse - The way AI uses the internet
  7. [agent-browser Browser Automation for AI](https://agent-browser.dev/)
  8. GitHub - vercel-labs/agent-browser: Browser automation CLI …
  9. [Installation agent-browser](https://agent-browser.dev/installation)
  10. Agent-Browser: Fast Native Rust CLI for Browser Automation …
  11. agent-browser - Browser Automation CLI for AI Agents …
  12. Agent-Browser: Browser Automation Built for AI - 人生這部戲
  13. GitHub - zm2231/agent-browser: z-agent-browser: Enhanced …
  14. Google’s Gemini 2.5 ‘Computer Use’ bets on the browser, not the…
  15. Too fierce! Manus turns your browser into a private AI agent, freely…
  16. Is Your AI Browser Spying On You? The Truth About AI Agents
  17. Polar AI Browser Targets Knowledge Work Automation
  18. Can Perplexity’s new agentic AI browser ‘Comet… - The Indian Express
  19. Hyperbrowser - Cloud browsers for AI agents & Apps
  20. Experts Find AI Browsers Can Be Tricked by PromptFix Exploit to Run…
AD
測試你的理解
Q1. 代理瀏覽器為何比傳統自動化工具更有效率?
  • 因為總是擷取整個螢幕畫面
  • 因為使用精簡的無障礙樹輸出,減少了 Token 使用量
  • 因為只能控制桌面應用
代理瀏覽器無需讀取網頁的複雜結構,而是使用已摘要必要資訊的「無障礙樹 (Accessibility Tree)」,將 AI 的 Token 使用量降至最低。
Q2. Vercel Labs 的「agent-browser」具備哪些技術優勢?
  • 比現有工具更輕量且效能更優異
  • 必須由使用者親自編寫程式碼才能運作
  • 僅為行動裝置開發
Vercel Labs 的「agent-browser」完全使用 Rust 語言編寫,體積比現有工具小 99 倍,記憶體使用量少 18 倍,執行速度也更快。
Q3. 使用 AI 瀏覽器時應注意哪些安全威脅?
  • 電池耗盡問題
  • 網路速度變慢
  • 誘導輸入假 CAPTCHA 等的 PromptFix 漏洞
PromptFix 漏洞是一種危險的弱點,能誘騙 AI 瀏覽器自動輸入信用卡資訊或引導至釣魚網站進行詐騙。