測試表明基準測試中更換 GPU 硬體會影響評分結果復現

2026 年 11 月 7 日，DEV Community 上釋出了一篇分析文章，探討在基準測試中更換 GPU 硬體對評分結果可復現性的影響。作者將 Open Discovery Challenge（ODC）的分子評分任務遷移至 Hugging Face 的作業上執行，目標是選擇一款能給出相同結果的更便宜的顯示卡。

他們在三款顯示卡上對同一批分子重新評分，並鎖定柱狀排行榜的寫入功能。結果顯示，L40S 與 A100 兩款顯示卡復現了已登記的評分數值，精確到小數點後第三位；而最便宜的 L4 雖然沒有報任何錯誤，評分卻更低：第 2 賽季為 87,329，而非 88,106；第 4 賽季為 80,504，而非 81,427。

由此得出的結論是，在更換評估硬體時，僅確認作業能否正常執行並不足夠，還必須驗證結果的可復現性。目前該分析僅基於這一篇文章，尚無其他信源的跟進報道。