開發者復盤 HR 問答系統驗收：評測集與消融實驗

2026 年 11 月 6 日，一位開發者在 DEV Community 撰文復盤企業 HR 制度問答系統的驗收過程，文中指出，供應商演示時用的是自己挑選的問題，因此在企業採購場景中參考價值有限，專業的 AI 系統驗收應當依賴評測集、消融實驗和拒答準確率三項手段。

該開發者的驗收從評測集開始。上線前先準備一組問題和標準答案，覆蓋正常問題與應拒答的問題，此次共寫 64 條，其中 52 條為問答題、8 條為應拒答題，涵蓋詢問個人工資、諮詢假病假條怎麼開、打聽別家公司制度三類情形。作者認為沒有評測集，改版之後是好是壞就只能靠感覺判斷。

隨後逐元件做消融實驗，每加一個技術元件就單獨測量它的得分。基線 v0 採用框架預設配置，端到端正確率為 0.67；加入按章節切分後提升到 0.80；再加入關鍵詞與向量融合，分數反而降到 0.78，原因是框架的中文分詞默默失效；修復中文分詞後回升到 0.81；接著加入後設資料過濾（地區/版本）達到 0.83；最後加入拒答與表格查表，端到端正確率達到 0.98。拒答準確率方面，v0 為 0.00，8 個不該回答的問題全部作答，經過調整後提升到 0.88。文章敘述到此為止，未提及系統是否正式上線及後續計劃。