OpenRouter 釋出大模型科學評估與基準測試官方指南

2026 年 11 月 12 日，OpenRouter 釋出大模型基準測試實踐指南，主題是如何科學評估與基準測試大模型。指南建議評估方依據自身應用的輸入與輸出格式選擇模型，把同一組任務跑在 OpenRouter 上，再比較評分準確率、計費成本與請求時間三項指標。指南強調應基於自身業務定義準確性、成本和請求時間的評測集，並指出需獨立計算引用、分離提示詞調優與最終評估。

指南同時給出了內部基準結果：在其 60 個合成任務上，GPT-6.1 Sol 在測試合同與設定下、三次重複中完成 180/180 次試驗；程式碼類檢查用於衡量正確性與輸出合規性；DeepSeek 在響應成本上最低，取得 157/180 的成績。截至目前，這份指南只公佈了方法論與上述內部資料，尚未見後續更新。