9B–20B 模型 INT4 量化部署實測與效能盤點

2026-11-06 08:16，掘金髮布了一篇題為《9B–20B 模型 INT4 量化部署實測：提速背後的效能邊界》的文章。三位獨立研究者對 9B 至 20B 的開源模型在 vLLM 和 SGLang 上的 INT4 量化部署進行了實測盤點，收集了這些模型在該類框架上全部可核實的量化實測。文章指出，INT4 量化在特定場景下能實現 2 倍提速，但在 batch 增大時容易出現效能穿幫和衰減。這是目前能核實到的關於這件事最早的一篇報道，事件也僅更新到這一步。