Grafana Labs 提出用 SLO 与错误预算衡量 AI 智能体

2026 年 11 月 1 日，InfoQ 中文报道了 Grafana Labs 发布的一篇文章，提出用评估、服务级别目标（SLO）和错误预算来衡量 AI 智能体的实际表现。其做法是先评估单次智能体交互，判断它是否以所提供的上下文为依据、是否完成了用户请求、是否包含有毒内容、是否泄露个人信息、是否受到提示词注入的影响，由此得到 SLI；评估可以用另一个语言模型充当裁判，但如果无需 LLM 就能识别相关行为，也可以用正则表达式等确定性检查。Grafana Labs 认为质量是多维的，一个智能体可能回答有据可依但成本高昂，可能有帮助却偶尔生成有毒内容，也可能准确但速度缓慢，因此应将幻觉、任务完成度、毒性和成本等行为转化为各自可衡量的目标，而不是把它们汇总成单一的智能体质量分数。

在单次交互评估的基础上，Grafana Labs 给出的示例 SLO 是：在 30 天内，95% 的对话被判定为已经完成用户请求，剩余的 5% 即错误预算，是团队明确决定在这一时期内可以容忍的不可接受行为数量。当错误预算仍然充足时，团队可以放开调整提示词或模型；预算耗尽时则转向质量修复。文章指出，这种方法的重要性更多在于它所建立的决策模型，而非百分比本身；真正的难点也不是设定 SLO，而是确定多高的目标才算可接受。就目前而言，这仍是 Grafana Labs 在一篇文章中提出的构想，报道未提及是否有外部团队按该方法落地。