9B–20B 模型 INT4 量化部署实测与性能盘点

2026-11-06 08:16，掘金发布了一篇题为《9B–20B 模型 INT4 量化部署实测：提速背后的性能边界》的文章。三位独立研究者对 9B 至 20B 的开源模型在 vLLM 和 SGLang 上的 INT4 量化部署进行了实测盘点，收集了这些模型在该类框架上全部可核实的量化实测。文章指出，INT4 量化在特定场景下能实现 2 倍提速，但在 batch 增大时容易出现性能穿帮和衰减。这是目前能核实到的关于这件事最早的一篇报道，事件也仅更新到这一步。