vLLM 0.33 引入有损投机验证器 FLy，默认仍用标准验证

vLLM 0.33.0 于 2026 年 11 月 2 日在 PyPI 发布，引入投机解码验证器 FLy。这是一个可选启用的功能，会故意接受部分目标模型本会拒绝的草稿 token，PR 明确说明它不保持目标分布，可能降低输出质量。标准验证仍是默认选项。

据 PR 数据，在全部 48 个模型、平台与批次组合上，FLy 的解码吞吐达到标准投机解码的 1.041 至 1.310 倍，最低准确率保留为 96.3%。

在标准投机解码中，小型 drafter 先提出 K 个 token，目标模型通过一次前向计算完成验证，遇到第一个被拒绝的 token 即停止；其接受与拒绝规则被设计为使输出分布与目标模型单独运行的结果一致，FLy 则在此基础上放宽了验证条件。

目前该功能处于可选启用状态，用户可自行决定是否使用，材料未提供 FLy 与标准验证在更多场景下的对比数据。