測算：LLM judge 成本可達被評機器人的 9.5 倍

2026 年 11 月 1 日，DEV Community 的 AI 板塊刊出一篇文章，測算了用 LLM judge 評審客服聊天機器人回覆的成本。作者描述的場景是：機器人基於 GPT-5.6 mini 搭建，團隊想知道它答錯的頻率有多高，通常的做法是讓一個更強的模型逐條給每條回覆打分。

文章給這套方案算了一筆賬：每條評審的成本是被評回覆的 9.5 倍。以每天 1 萬條回覆的規模為例，機器人本身的月執行成本是 132 美元，而如果全部評審，月成本高達 1260 美元。

作者指出，多數評審結果提供的資訊並不比抽樣 400 條多多少，因此建議每天只抽樣評審約 400 條。文章解釋了成本偏高的機制：模型 API 按 token 計費，而一篇回覆的 token 數大約相當於英語單詞數的四分之三；評審一條回覆的成本高於生成這條回覆本身，因為逐條評審意味著要把同樣的內容再過一遍模型。