vLLM 0.33 引入有損投機驗證器 FLy，預設仍用標準驗證

vLLM 0.33.0 於 2026 年 11 月 2 日在 PyPI 釋出，引入投機解碼驗證器 FLy。這是一個可選啟用的功能，會故意接受部分目標模型本會拒絕的草稿 token，PR 明確說明它不保持目標分佈，可能降低輸出質量。標準驗證仍是預設選項。

據 PR 資料，在全部 48 個模型、平臺與批次組合上，FLy 的解碼吞吐達到標準投機解碼的 1.041 至 1.310 倍，最低準確率保留為 96.3%。

在標準投機解碼中，小型 drafter 先提出 K 個 token，目標模型通過一次前向計算完成驗證，遇到第一個被拒絕的 token 即停止；其接受與拒絕規則被設計為使輸出分佈與目標模型單獨執行的結果一致，FLy 則在此基礎上放寬了驗證條件。

目前該功能處於可選啟用狀態，使用者可自行決定是否使用，材料未提供 FLy 與標準驗證在更多場景下的對比資料。