DEV Community 評估多款決策模型與小語言模型的越界識別能力

據 DEV Community 報道，有作者撰文介紹如何評估 AI 路由器的越界識別能力。文章指出，AI 路由器既要識別超出其支援分類的請求，又要繼續接納有用的工作，這兩件事應當分開測量。為此，作者於 2026 年 10 月 23 日至 28 日期間，對 4 個決策模型和 5 個小語言模型進行了對比測試。

文章聚焦於該對比中的一個任務：為一個請求選定域，其中包含一個明確的“out of scope”（超出範圍）選項。測試中，決策模型接收帶型別的提問，並返回各選項上的機率；小語言模型則接收相應的輸入進行處理。測試揭示了不同模型在處理“域外”選項時的虛警率和分類偏差，作者據此為構建穩定路由提供參考。

目前，文章公開的只有上述評估思路與總體結論，各模型的具體得分並未列出。