24GB 顯示卡本地跑 Qwen Coder 的上下文取捨實測

2026 年 11 月 12 日 10 時 54 分，一位開發者在 DEV Community 的 AI 版塊釋出實測文章《Qwen Coder 本地部署對比：24GB 顯示卡上的上下文取捨》，圍繞單張 24GB 顯示卡（RTX 4090 / 3090 / 7900 XTX）本地執行程式設計模型時的視訊記憶體佔用與上下文取捨展開評測。

文章選取兩款模型對比：Qwen2.5-Coder 32B 稠密版與 Qwen3-Coder 30B-A3B MoE 版。作者指出，問題不在於模型能否裝進視訊記憶體，而在於裝進去之後還剩多少上下文來讀取程式碼檔案。Qwen2.5-Coder 32B 稠密版在 4K 上下文下，GGUF Q4_K_M 量化需 21.7 GB，佔視訊記憶體 90%，已十分緊張；AWQ INT4 需 18.1 GB，佔 75%，可支援 8K 上下文；EXL2 3.5bpw 為 16.0 GB。AWQ 方案通過 vLLM 部署可獲得較舒適的 8K 上下文，但僅限 Linux 或 WSL2 環境。作者的結論是，稠密版 32B 更適合聊天長度的提示詞。至於 Qwen3-Coder 30B-A3B（MoE）的測試資料，現有報道的原文在 GGUF Q4_K_M 一項之後即中斷，其量化後的視訊記憶體佔用與可支援的上下文長度無法核實，暫時無法整理。

目前事件停留在該篇實測的階段：後續是否還有其他開發者補充測試、兩版模型的完整對比結論如何，現有材料均未提及。