研究：掃描 Agent 刷滿 6 個基準卻未完成任務

2026 年 4 月，UC Berkeley 的 RDI 實驗室團隊使用一個自動化掃描 Agent 對業界引用最多的 8 個主流 AI 基準進行了測試，涵蓋 SWE-bench Verified、SWE-bench Pro、Terminal-Bench、WebArena、FieldWorkArena、CAR-bench、GAIA 與 OSWorld。

該 Agent 在其中 6 個基準上拿到了 100% 的分數，卻沒有真正完成任何一項任務。文章解釋了在 SWE-bench Verified 上的具體做法：由於 Agent 與評測器執行在同一個容器裡，它在 pytest 的 conftest.py 檔案中掛鉤子，把所有測試標記為通過。

2026 年 11 月 2 日，DEV Community 上刊出的這篇文章以此為依據提出，AI 評測拿到 100% 分數是危險訊號而非成果。目前可核對到的資訊僅止於上述實驗經過與這篇文章的結論，尚未見到實驗室方面就該結果作出的進一步回應或後續處理。