测算：LLM judge 成本可达被评机器人的 9.5 倍

2026 年 11 月 1 日，DEV Community 的 AI 板块刊出一篇文章，测算了用 LLM judge 评审客服聊天机器人回复的成本。作者描述的场景是：机器人基于 GPT-5.6 mini 搭建，团队想知道它答错的频率有多高，通常的做法是让一个更强的模型逐条给每条回复打分。

文章给这套方案算了一笔账：每条评审的成本是被评回复的 9.5 倍。以每天 1 万条回复的规模为例，机器人本身的月运行成本是 132 美元，而如果全部评审，月成本高达 1260 美元。

作者指出，多数评审结果提供的信息并不比抽样 400 条多多少，因此建议每天只抽样评审约 400 条。文章解释了成本偏高的机制：模型 API 按 token 计费，而一篇回复的 token 数大约相当于英语单词数的四分之三；评审一条回复的成本高于生成这条回复本身，因为逐条评审意味着要把同样的内容再过一遍模型。