测试表明基准测试中更换 GPU 硬件会影响评分结果复现

2026 年 11 月 7 日，DEV Community 上发布了一篇分析文章，探讨在基准测试中更换 GPU 硬件对评分结果可复现性的影响。作者将 Open Discovery Challenge（ODC）的分子评分任务迁移至 Hugging Face 的作业上运行，目标是选择一款能给出相同结果的更便宜的显卡。

他们在三款显卡上对同一批分子重新评分，并锁定柱状排行榜的写入功能。结果显示，L40S 与 A100 两款显卡复现了已登记的评分数值，精确到小数点后第三位；而最便宜的 L4 虽然没有报任何错误，评分却更低：第 2 赛季为 87,329，而非 88,106；第 4 赛季为 80,504，而非 81,427。

由此得出的结论是，在更换评估硬件时，仅确认作业能否正常运行并不足够，还必须验证结果的可复现性。目前该分析仅基于这一篇文章，尚无其他信源的跟进报道。