OpenRouter 发布大模型科学评估与基准测试官方指南

2026 年 11 月 12 日，OpenRouter 发布大模型基准测试实践指南，主题是如何科学评估与基准测试大模型。指南建议评估方依据自身应用的输入与输出格式选择模型，把同一组任务跑在 OpenRouter 上，再比较评分准确率、计费成本与请求时间三项指标。指南强调应基于自身业务定义准确性、成本和请求时间的评测集，并指出需独立计算引用、分离提示词调优与最终评估。

指南同时给出了内部基准结果：在其 60 个合成任务上，GPT-6.1 Sol 在测试合同与设置下、三次重复中完成 180/180 次试验；代码类检查用于衡量正确性与输出合规性；DeepSeek 在响应成本上最低，取得 157/180 的成绩。截至目前，这份指南只公布了方法论与上述内部数据，尚未见后续更新。