DEV 文章：对比模型先逐题配对再算差异

2026 年 11 月 5 日，DEV Community 的 AI 栏目发表了一篇关于模型对比方法的文章。文章指出，当两个 Agent 在同批题目上出现 5 分差距时，这种领先往往来自配对方式而非模型本身。作者认为，分别求两组回答的均值会丢掉整个实验中最有用的一条信息——即双方回答的是同一批题目，而这种共享结构是小样本量下成本最低的降噪手段。据此，作者建议在对比两个模型时逐题配对，让两组使用相同的随机种子，并对逐题差值报告区间；整套做法大约只需三十行代码，一个下午就能搭好。