HaiAI123

全球AI工具精选导航

行业动态
持平

Meta 等提出 SWE-sweep:让 Agent 自己找 bug 的新基准

2026/11/20 — 11/20 17:19·1 个来源(全部)·1 篇报道(全部)

核心速览 (Key Takeaways)

  • 包括两位 SWE-bench 创建者在内的 Meta 研究者提出 SWE-sweep 基准:给编码 Agent 一个真实仓库,但不提示哪里坏了、是什么类型的 bug,要求它自行发现并修复。
  • 在 100 个仓库、22 种语言的 4068 个已知 bug 上,表现最好的模型仅修复 4.7%,结果由隐藏测试验证。

事件背景与详细解读

2026 年 11 月 20 日,DEV Community 的 AI 栏目发布了关于 SWE-sweep 基准的报道。该基准由 Meta 的研究者提出,参与者中包括 SWE-bench 的两位创建者。与多数编码基准的做法不同,SWE-sweep 不向编码 Agent 提供 bug 报告,而是把一个真实仓库交给 Agent,不提示哪里出了问题、问题在什么位置,也不说明属于什么类型的 bug,由 Agent 自行发现缺陷并完成修复。

在评测规模上,SWE-sweep 覆盖了 100 个仓库、22 种语言中的 4068 个已知 bug,修复结果交由隐藏测试验证。据该报道披露,在受测模型中表现最好的一个,也仅修复了 4.7% 的 bug,整体表现明显偏低。目前可查到的公开信息即止于此,暂无该基准后续的更新或补充说明。

AI 综合 1 篇报道生成 · 更新于 2 天前

updream
24 小时热度热度指数 30 · 峰值 59 · 23 小时前
24 小时前现在

这件事的报道 点标题看原文

11月20日
  1. 包括两位 SWE-bench 创建者在内的 Meta 研究者提出 SWE-sweep 基准:给编码 Agent 一个真实仓库,但不提示哪里坏了、是什么类型的 bug,要求它自行发现并修复。在 100 个仓库、22 种语言的 4068 个已知 bug 上,表现最好的模型仅修复 4.7%,结果由隐藏测试验证。

    发现 bug 比修复更难,这个基准给出了量化证据。

    DEV Community · AIAI 评分 67

同时在说的其他事

热度怎么算的?了解口径

热度按 48 小时内有多少个独立来源在说这件事算:同一个来源发多条只算一次,并按 24 小时半衰期衰减,所以排前面的是很多人在说的事。

本页汇总公开订阅源,标题与摘要由模型整理,版权归原作者所有;重要信息请回原文核对。如权利人认为相关标题或摘要侵权,请通过页尾联系邮箱提供具体页面与权利依据,我们核实后会及时删除或替换。

爆
讨论快速增加
新
首报 6 小时内
发酵中
讨论仍在增加

回 AI 行业动态榜 →