Grafana Labs 提出用 SLO 與錯誤預算衡量 AI 智慧體

2026 年 11 月 1 日，InfoQ 中文報道了 Grafana Labs 釋出的一篇文章，提出用評估、服務級別目標（SLO）和錯誤預算來衡量 AI 智慧體的實際表現。其做法是先評估單次智慧體互動，判斷它是否以所提供的上下文為依據、是否完成了使用者請求、是否包含有毒內容、是否洩露個人資訊、是否受到提示詞注入的影響，由此得到 SLI；評估可以用另一個語言模型充當裁判，但如果無需 LLM 就能識別相關行為，也可以用正規表示式等確定性檢查。Grafana Labs 認為質量是多維的，一個智慧體可能回答有據可依但成本高昂，可能有幫助卻偶爾生成有毒內容，也可能準確但速度緩慢，因此應將幻覺、任務完成度、毒性和成本等行為轉化為各自可衡量的目標，而不是把它們彙總成單一的智慧體質量分數。

在單次互動評估的基礎上，Grafana Labs 給出的示例 SLO 是：在 30 天內，95% 的對話被判定為已經完成使用者請求，剩餘的 5% 即錯誤預算，是團隊明確決定在這一時期內可以容忍的不可接受行為數量。當錯誤預算仍然充足時，團隊可以放開調整提示詞或模型；預算耗盡時則轉向質量修復。文章指出，這種方法的重要性更多在於它所建立的決策模型，而非百分比本身；真正的難點也不是設定 SLO，而是確定多高的目標才算可接受。就目前而言，這仍是 Grafana Labs 在一篇文章中提出的構想，報道未提及是否有外部團隊按該方法落地。