24GB 显卡本地跑 Qwen Coder 的上下文取舍实测

2026 年 11 月 12 日 10 时 54 分，一位开发者在 DEV Community 的 AI 版块发布实测文章《Qwen Coder 本地部署对比：24GB 显卡上的上下文取舍》，围绕单张 24GB 显卡（RTX 4090 / 3090 / 7900 XTX）本地运行编程模型时的显存占用与上下文取舍展开评测。

文章选取两款模型对比：Qwen2.5-Coder 32B 稠密版与 Qwen3-Coder 30B-A3B MoE 版。作者指出，问题不在于模型能否装进显存，而在于装进去之后还剩多少上下文来读取代码文件。Qwen2.5-Coder 32B 稠密版在 4K 上下文下，GGUF Q4_K_M 量化需 21.7 GB，占显存 90%，已十分紧张；AWQ INT4 需 18.1 GB，占 75%，可支持 8K 上下文；EXL2 3.5bpw 为 16.0 GB。AWQ 方案通过 vLLM 部署可获得较舒适的 8K 上下文，但仅限 Linux 或 WSL2 环境。作者的结论是，稠密版 32B 更适合聊天长度的提示词。至于 Qwen3-Coder 30B-A3B（MoE）的测试数据，现有报道的原文在 GGUF Q4_K_M 一项之后即中断，其量化后的显存占用与可支持的上下文长度无法核实，暂时无法整理。

目前事件停留在该篇实测的阶段：后续是否还有其他开发者补充测试、两版模型的完整对比结论如何，现有材料均未提及。