开发者复盘 HR 问答系统验收：评测集与消融实验

2026 年 11 月 6 日，一位开发者在 DEV Community 撰文复盘企业 HR 制度问答系统的验收过程，文中指出，供应商演示时用的是自己挑选的问题，因此在企业采购场景中参考价值有限，专业的 AI 系统验收应当依赖评测集、消融实验和拒答准确率三项手段。

该开发者的验收从评测集开始。上线前先准备一组问题和标准答案，覆盖正常问题与应拒答的问题，此次共写 64 条，其中 52 条为问答题、8 条为应拒答题，涵盖询问个人工资、咨询假病假条怎么开、打听别家公司制度三类情形。作者认为没有评测集，改版之后是好是坏就只能靠感觉判断。

随后逐组件做消融实验，每加一个技术组件就单独测量它的得分。基线 v0 采用框架默认配置，端到端正确率为 0.67；加入按章节切分后提升到 0.80；再加入关键词与向量融合，分数反而降到 0.78，原因是框架的中文分词默默失效；修复中文分词后回升到 0.81；接着加入元数据过滤（地区/版本）达到 0.83；最后加入拒答与表格查表，端到端正确率达到 0.98。拒答准确率方面，v0 为 0.00，8 个不该回答的问题全部作答，经过调整后提升到 0.88。文章叙述到此为止，未提及系统是否正式上线及后续计划。