請了一整隊 AI 代理，帳單貴了五倍，分數只多七個百分點

2026年10月11日，APPI News 刊出一篇由張饒輝（Lightman Chang）撰寫的長文，整理 Vals AI 在 Vibe Code Bench 上的測試結果。問題很直接：多個 AI 代理組隊分工，看起來能同時做更多事，但品質真的變好了嗎？付出去的 token 錢，換到了什麼？

先把背景補上，再看數字怎麼說。

測試怎麼做的

Vals AI 準備了 50 個任務，每個任務都是從產品規格出發，建置一個完整的網頁應用。應用部署之後，交給瀏覽器代理實際操作工作流程，分數是 UI 測試通過比例的平均值。

受測模型是 GPT 6 Sol 與 Claude Opus 5.5，各自以中等與最高推理強度，分別跑單一代理與團隊模式。四組設定各執行一次，同一批應用以配對方式比較，統計方法採配對 t 檢定。

原文也老實點出限制：每種設定只跑一次，無法估計同一模型與任務重複執行時的隨機波動。

四組數字並排放著看

• GPT 6 Sol 中等推理：單一代理 77.6%、平均成本 US$1.22；團隊 84.9%、US$3.07。分數多 7.3 個百分點，這是四組中唯一達統計顯著的差異。
• GPT 6 Sol 最高推理：89.0% 對 90.4%，只多 1.4 個百分點，不顯著。成本從 US$4.82 漲到 US$8.54。
• Claude Opus 5.5 中等推理：91.5% 對 91.2%，團隊反而少了 0.3 個百分點，不顯著。成本 US$4.08 變 US$9.10。
• Claude Opus 5.5 最高推理：89.8% 對 93.2%，多 3.4 個百分點，不顯著。但成本從 US$23.77 跳到 US$122，這就是 5.1 倍的出處。

團隊成本普遍落在單一代理的 1.8 至 5.1 倍之間，但換到的品質改善，多數時候統計上站不住腳。這個倍數描述的是該次測試的 token 成本估算，其中一個團隊執行逾時，約 US$189 的成本是由 token 數估算後納入平均，不能直接當成所有系統的總營運成本倍數。

快了，也可能慢了

時間是另一條故事線。GPT 6 Sol 在最高推理強度下，團隊的中位完成時間從 38.4 分鐘縮短到 27.6 分鐘，分工確實有換到速度。但 Claude Opus 5.5 最高推理強度的團隊需要 174.1 分鐘，單一代理只要 74.7 分鐘，多出來的協調與整合把時間喫掉了。

換句話說，同一個「組隊」決定，在不同模型與設定下，可能買到速度，也可能買到等待。

驗收該看哪些面向

原文給技術團隊的建議，可以整理成幾個檢查點：

• 先定義要改善的指標：成果品質、完成時間，還是任務覆蓋率。三者互相牽動，不能只看代理數量或 token 用量。
• 把「可接受的成果」寫成驗收條件，例如必要功能、測試通過率、缺陷嚴重度與交付期限。
• 用單一代理建立基準，才有辦法判斷團隊模式帶來的改善是否超過新增成本。
• 留意整合缺陷：多代理會增加協調、整合與驗收環節，若任務切不出彼此獨立的工作，新增代理可能只是多出等待和返工。
• 指標要跟目標配對。UI 分數回答的是測試通過率，不是維護成本；token 費用也不等於交付價值。

分數差異未達顯著，只表示這次樣本沒有提供足夠證據支持明確差異，並非證明兩者表現相同。測試也只涵蓋預先設計的瀏覽器流程，分數提高不代表所有重要缺陷都消失。

團隊人多，不等於事情做好

這份測試最值得留的不是哪個模型贏了，而是它示範了怎麼誠實地比較：成本、分數、時間各自回答不同問題，只挑其中一項代表整體效益，結論就會歪掉。

這也呼應了 AI 代理議題近期的另一面：當代理開始主動上門做事，各方最先要補的功課都是權限與驗收，就像先前維基媒體處理疑似 OpenAI 代理未授權活動時，被反覆討論的設門檻問題。工具越自動化，「怎麼確認它做對了」就越值錢。

至於要不要讓代理組隊，答案不在這篇測試裡，而在每個團隊自己的驗收條件裡。先把基準跑出來，再決定多花的那幾倍錢，買的是品質、速度，還是只是人多熱鬧。