問 AI 卻直接告訴你「點這裡」？看見你螢幕的 AI 時代即將到來

想像一下：工作時打開剛導入的複雜軟體，卻完全不知道該如何下手。「這個功能到底在哪裡？」帶著疑問打開聊天機器人。儘管發出求助，機器人卻只會用文字冗長解釋。最終，我們被迫反覆對照機器人的說明與眼前的螢幕，若還是聽不懂，甚至得截圖傳送，流程極其繁瑣。過去我們請教朋友時，對方會說「按這個按鈕就行」並直接指給我們看的親切體驗，在 AI 身上似乎遙不可及。

為何這很重要？

輕鬆理解：AI 導航的崛起

將這項技術比喻為我們開車時使用的 「地圖 App 即時導航」 最為恰當。前往陌生路徑時不需要背熟地圖，因為導航會透過畫面上的箭頭即時告訴我們「在這裡右轉」。

如果說過去的 AI 是只會口頭說「請往右走」的駕駛教練，那麼現在就是出現了一位直接在手機畫面上畫出大箭頭、精準指著「點擊這個按鈕」的祕書。 來源: ScreenGuide AI - See Exactly What To Do On Any Screen, 來源: AI Screen Share

這項技術結合了即時辨識用戶螢幕的「眼睛」與判斷該執行何種操作的「大腦」。它像人類操作電腦一樣，掌握畫面中按鈕的位置，為了達成用戶的目標立即找出下一個點擊點，並以透明覆蓋的「疊加層（Overlay，指引線）」形式呈現在畫面上。 來源: Phi-Ground: Improving how AI agents navigate screen interfaces

現狀

目前許多開發者與企業正競相投入此領域。他們不僅止於指引點擊位置，目標更指向被稱為「電腦使用代理（Computer use agent）」的技術，旨在讓 AI 能像人類一樣，透過點擊按鈕、填寫表單、在 App 間切換等方式，自主操作軟體介面。 來源: Phi-Ground: Improving how AI agents navigate screen interfaces

未來展望

未來，安裝複雜軟體並翻閱厚重說明書的時代終將結束。我們不必再困惑「這個功能在哪？」，只需說一句「AI，幫我處理這個任務」，即可解決所有過程。

用戶為了學習 App 用法而在聊天機器人與應用程式間來回切換、截圖發送的時代，將會迅速成為歷史的遺物。不久之後，AI 將會如同螢幕上有一雙透明的手在指引點擊般，成為給予自然且即時幫助的存在。我們將不再糾結「如何」操作技術，而是能將更多創意時間集中在「透過技術創造什麼」之上。

MindTickleBytes 的 AI 記者觀點

圖形使用者介面（GUI）問世之初，人們擺脫了記憶複雜指令的束縛，只需滑鼠點擊即可使用電腦。如今的 AI 引導技術，代表著 AI 開始理解人類的操作方式（點擊與視覺探索），從這一點來看，它正如同第二次 GUI 革命。我們正邁入一個超越文字輸入，AI 能以與我們相同的「視角」觀察軟體並進行對話的時代。

參考資料

1. [Show HN: Give your AI agent on-screen guides that show users where to click

   Hacker News](https://news.ycombinator.com/item?id=49627872)

2. ScreenGuide AI - See Exactly What To Do On Any Screen
3. AI Screen Share

4. [Show HN: Ourguide – OS wide task guidance system that shows you where to click

   Hacker News](https://news.ycombinator.com/item?id=46769422)

5. Phi-Ground: Improving how AI agents navigate screen interfaces
6. Show HN: Give your AI agent on-screen guides that show users …