研究发现 Agent 基准测试 Terminal-Bench 存在缺陷并修正

据掘金 2026-11-07 报道，斯坦福大学 Ré 实验室研究发现 Agent 基准测试 Terminal-Bench 中约有三成任务存在缺陷。报道将该团队的做法概括为把「基准会腐烂」这件事工程化，即在基准发布后模型仍在进步的情况下，对任务缺陷进行系统化排查和修正。修复这些缺陷后，测试模型的整体得分普遍上涨了 10 个百分点。目前该修正工作由斯坦福大学 Ré 实验室完成并对外公布，Terminal-Bench 被缺陷修复后的测试结果及具体受影响任务清单尚未在报道中展开。