AI 編碼工具會選擇誰? 1.7 萬次實驗揭露的意外結果

象徵 AI 代理工具選擇過程的圖像,由複雜交織的彩色連接環組成
AI Summary

研究證實,AI 編碼代理在選擇作業工具時,意見一致的情況僅佔 42%,且每個代理都有明顯偏好的工具。

想像一下。為了做出一道精緻的料理,你準備了同樣的食材,並請三位專業廚師幫忙。然而,他們在開始烹飪前,光是拿出什麼工具就猶豫了許久。一人拿起刀,一人拿起剪刀,另一人則堅持使用專用切割器,每個人都堅持自己的方式。畢竟,使用不同的工具,料理的形狀和口味也會有所差異。

最近,AI 編碼領域發現了一個與此極為相似的有趣現象。一項研究分析了我們常用的 AI 編碼代理——Claude Code、Cursor 與 Codex——在執行實際作業時,是如何選擇外部工具的。出處: Armature

這為什麼重要?

對於日常使用 AI 的人們來說,這不僅僅是技術上的瑣事。當我們對 AI 說「幫我寫程式」時,AI 選擇什麼樣的工具,可能會影響專案的成果、穩定性,甚至是資料安全性。出處: o16g

換句話說,AI 代理在編寫你的程式碼時所使用的「工具」,會對你的數位作業環境產生巨大影響。理解這些代理的工具選擇方式,就像是在聘請一位值得信賴的合作夥伴。如果你了解每個夥伴偏好的工具,就能選擇最適合你作業目的的 AI 代理。

簡單來說:挑選 AI 的「工具箱」

我們這樣比喻吧:你的房間裡有一個巨大的「工具箱」,裡面裝著無數種工具。AI 代理在接收到編碼任務時,會從這個箱子裡取出需要的工具來使用。

這項研究深入分析了約 17,000 次編碼會話。出處: Armature, 出處: CCTest 就像是安裝了監視器,觀察這三位廚師(代理)在工具箱前會拿起什麼工具,整整觀察了 1 萬 7 千次。

研究結果令人驚訝:三個代理選擇相同工具的情況,僅佔總數的 42%。出處: CCTest 意見達成一致的機率甚至不到一半。例如,在需要實現語音相關功能的任務中,Claude Code 偏好使用 Twilio,Codex 偏好 OpenAI 的 Realtime API,而 Cursor 則偏好 Vapi。出處: Armature

簡單來說,即使點了同樣的料理(編碼),每位廚師(代理)偏好的烹飪工具都各不相同。這是因為每個代理的設計理念或學習背景不同而產生的現象。AI 代理也像人類一樣,各自擁有不同的品味與工作習慣。

現況:AI 編碼代理的性格

目前市場上共存著許多個性迥異的代理:

  • Claude Code:能讀取非常廣泛的背景資訊,並支援子代理(sub-agent)或自訂 Hook(在程式碼執行過程中於特定時間點加入功能的裝置)等細緻設定。出處: The AI Engineer
  • Cursor:強項在於將作業分割成多個獨立的工作空間(worktrees)來處理。出處: The AI Engineer
  • Codex:在作業系統強制隔離的沙盒(與外部隔離的安全空間)環境中執行,提供 IDE(整合開發環境)擴充套件、網頁應用程式及 Slack 連動等多樣化的整合環境。出處: The AI Engineer, 出處: Builder.io

由於每個工具的誕生背景與主打領域不同,使用者應選擇符合自己編碼風格的代理。出處: The Code Media

未來會如何發展?

未來,AI 代理的工具選擇將會變得更加智慧化。不僅僅是堅持偏好的工具,它們預計將進化出更精細的「決策能力」,能自行判斷哪種工具對於特定任務而言最安全、最有效率。出處: o16g 對於身為使用者的我們來說,能夠透明地掌握代理選擇了什麼工具,並在必要時擁有調整這些工具的控制權,將會變得越來越重要。

MindTickleBytes AI 記者觀點

AI 選擇工具的方式與人類的習慣非常相似。但其中牽涉到的考量因素,比我們選擇工具時要複雜得多。1 萬 7 千次實驗所呈現出的代理個性,暗示了未來 AI 將進化為擁有「各自哲學的專家」,而不僅僅是通用的機械。你的編碼夥伴現在正拿起什麼樣的工具呢?

參考資料

  1. Which tools do Claude Code, Codex and Cursor choose? We measured 16,893 sessions to find out. · Armature
  2. How Claude, Codex and Cursor Choose Coding Tools - CCTest
  3. Agents, Memory, and Safer Tooling: Practical Updates for Outcome Engineers · o16g
  4. Claude Code vs Codex CLI vs Cursor: which one to choose?
  5. Codex vs Claude Code: which is the better AI coding agent?
  6. ClaudeCode,CursorиCodex: какой AI-агент выбрать — журнал…
AD
測試你的理解
Q1. 根據研究結果,三個 AI 代理選擇相同工具的比例約為多少?
  • 10%
  • 42%
  • 85%
研究人員進行了 1 萬 7 千次實驗,結果顯示三個代理都選擇相同工具的情況僅佔 42%。
Q2. 在執行語音代理任務時,Cursor 最偏好的工具是什麼?
  • Twilio
  • OpenAI Realtime API
  • Vapi
研究顯示,Claude Code 偏好 Twilio,Codex 偏好 OpenAI Realtime API,而 Cursor 則最偏好 Vapi。
Q3. 本研究中分析的編碼會話大約有幾次?
  • 約 5,000 次
  • 約 17,000 次
  • 約 50,000 次
研究人員為了理解代理的工具選擇過程,進行了 16,893 次至 17,000 次不等的實驗。