AI竟然能親自查看我的瀏覽器?談談編碼代理的「眼睛」——Peek-CLI

象徵 AI 在終端機下達指令,同時透過瀏覽器視窗分析網頁畫面的影像。
AI Summary

Peek-CLI 是一款輔助工具,能讓終端機基礎的編碼代理 Claude Code 直接查看網頁瀏覽器畫面並拍攝螢幕截圖,從而協助驗證工作成果。

想像一下:你請 AI 「幫我檢查網站的登入按鈕是否正常運作」。過去的 AI 代理只會讀取終端機裡的程式碼,然後回答「看起來應該可以」。但現在不同了。AI 可以直接打開你的瀏覽器,用它的「眼睛」確認按鈕在螢幕上的位置,以及點擊後會發生什麼事,並報告結果。這一切都要歸功於名為「Peek-CLI」的新工具。

為什麼這很重要?

至今我們使用的終端機基礎編碼代理(例如 Claude Code)大多擅長於文字基礎的程式碼分析。根據 Claude Code 概述,這些工具雖然在理解程式碼與處理 git 工作流程方面表現出色,但對於確認實際網頁瀏覽器中使用者看到的畫面是否如預期般渲染(顯示),卻存在限制。

Peek-CLI 讓 AI 能透過「視覺資訊」而非「文字」來驗證工作。這意味著 AI 不僅僅停留在寫程式碼的階段,更具備了直接執行網頁開發最後階段——「最終確認」工作的能力。使用者只需接收結果報告,將大幅提升網頁開發的效率。Peek-CLI Hacker News

簡單易懂的解釋

為了理解「Peek-CLI」,我們來打個比方。假設你僱用了一位優秀的廚師。這位廚師能將食譜(程式碼)背得滾瓜爛熟,但卻看不見廚房內部的實際烹飪環境。廚師說他照著食譜完成了料理,但卻不知道擺在盤子裡的菜看起來究竟如何。

如果原本的 Claude Code 是食譜完美的廚師,那麼 Peek-CLI 就是為這位廚師安裝了一台能照見廚房的「監視器(螢幕截圖功能)」。從 GitHub - Peek-CLI 可以看到,該工具允許像 Claude Code 這樣的代理程式對開啟的瀏覽器分頁進行螢幕截圖。現在,廚師(AI)可以親眼看到自己做的料理是如何擺盤的,如果外觀不對,就能立刻重新製作。

事實上,Peek-CLI 原本是一款方便的終端機工具,能讓使用者立即在瀏覽器中預覽檔案或資料夾。LinuxLinks - Peek-CLI 但當此功能與 AI 代理結合後,便擴展為能將瀏覽器畫面本身擷圖並進行分析的強大功能。

現狀

目前 AI 的網頁操作環境主要分為兩大潮流:

  1. 如 Peek-CLI 這類的視覺分析工具:優化了 AI 擷取瀏覽器畫面以確認當前狀態,並驗證任務準確性的過程。GitHub - Peek-CLI
  2. 如 Claude for Chrome 這類的直接控制工具:這是 Anthropic 官方支援的瀏覽器擴充功能。能執行類似真實使用者的行為,例如直接在瀏覽器中點擊、填寫表單及瀏覽網頁。Claude for Chrome

這兩者是互補關係。如果說 Claude for Chrome 負責「直接行動」,那麼 Peek-CLI 則是強化了對行動結果進行「視覺驗證」的角色,這樣理解就簡單多了。

未來會如何發展?

未來的 AI 開發工具將不僅止於編寫程式碼。一個能即時監控並修正所寫程式碼在瀏覽器這個現實世界中如何實作的「循環」將會完成。Claude Code 終端機應用法 雖然 AI 目前已經能執行確認控制台錯誤並修正程式碼的過程,但透過 Peek-CLI 這類工具,AI 將能更精準地操作與驗證網頁環境,這將使整個網頁開發流程變得更快、更精確。

MindTickleBytes 的 AI 記者觀點

AI 從終端機那冰冷的文字環境,走入了瀏覽器這個熱情的視覺環境。現在,比起「AI 是如何編寫程式碼的」,未來更重要的將會是「AI 能多準確地查看並驗證自己產出的成果」。

參考資料

  1. ShowHN:Peek-CLI:LetClaudeCodeSeetheBrowser
  2. [ShowHN:Peek-CLI:LetClaudeCodeSeetheBrowser Hacker News](https://news.ycombinator.com/item?id=48799078)
  3. peek-cli- CLI tool that opens a file or folder in yourbrowser- LinuxLinks
  4. Set upClaudeCode-ClaudeDocs
  5. Releases · anthropics/claude-code· GitHub
  6. ClaudeCodeoverview - Anthropic
  7. GitHub - puffinsoft/peek-cli: Let coding agents see your browser. · GitHub
  8. [Show HN: I built a tool to un-dumb Claude Code’s CLI output (Local Log Viewer) Hacker News](https://news.ycombinator.com/item?id=47004712)
  9. Claude Code CLI: The Complete Guide — Hooks, MCP, Skills
  10. Claude Code 브라우저 완전정리: AI가 직접 웹을 보고 클릭하고 조작하는 법
  11. Claude Code 내부 아키텍처 분석
  12. [How to Use Claude in Chrome with Claude Code: Setup, Browser Testing, and Safe Use LaoZhang AI Blog](https://blog.laozhang.ai/en/posts/claude-in-chrome-with-claude-code)
  13. 빠른 시작 - Claude Code Docs
  14. [Claudefor Chrome Claudeby Anthropic](https://claude.com/claude-for-chrome)
  15. MasteringClaudeCodein 30 minutes - YouTube
  16. GitHub - ComposioHQ/awesome-claude-skills: A curated list of…
測試你的理解
Q1. Peek-CLI 的主要角色之一是什麼?
  • 擷取網頁瀏覽器畫面供 AI 查看
  • 在終端機直接修改程式碼
  • 提升 AI 的回應速度
Peek-CLI 是一款協助編碼代理直接查看網頁瀏覽器畫面並拍攝螢幕截圖,進而驗證結果的工具。
Q2. Peek-CLI 最初開發的目的是什麼?
  • AI 瀏覽器控制專用
  • 立即在瀏覽器預覽檔案或資料夾
  • 資料庫管理
Peek-CLI 原本是一款基於 Rust 的終端機工具,旨在讓使用者能立即在網頁瀏覽器中預覽各種檔案格式(PDF、圖片、程式碼等)。
Q3. Claude for Chrome 與 Peek-CLI 的共同點為何?
  • 兩者皆僅在終端機運作
  • 兩者皆協助 AI 在網頁環境執行任務
  • 兩者皆僅支援檔案預覽
兩者皆扮演著協助 AI 瀏覽網頁環境或掌握視覺資訊以執行任務的角色。