開發者對比 Qwen3.8 27B 的 INT4 AWQ 與 INT8 高負載表現

2026 年 10 月 31 日 11:19，一位開發者在 Reddit 的 LocalLLaMA 版塊發帖，分享了將 Qwen3.8 27B 從 INT8 切換到 AWQ INT4 後在重負載 Agent 測試中的實際日誌對比。據帖文所述，作者於 10 月中旬完成切換，此前使用 INT8 方案配備 4 塊 RTX 3090，切換後改為 2 塊 RTX 3090。兩次部署的推理棧相同：vLLM、FP8 KV、DFlash2，取樣引數為 temperature 1.0、top_p 0.95、top_k 20、presence_penalty 0、thinking 設為 medium，迴圈檢測用 Hermes harness，對比物件為 int4-awq 與 int8 兩個版本，每套配置各取約兩週日誌。

作者給出的對比結果為：模型呼叫次數從 17.7k 降至 11.4k；每 1k 次呼叫中的死迴圈次數從 1.9 升至 4.7；出現至少一次迴圈的對話佔比從 6% 升至 12%。值得注意的是，標題寫作 INT4 AWK，正文寫作 AWQ INT4，兩處拼寫不一致。目前該帖為單一信源，材料中沒有其他報道對上述數字和結論加以印證或反駁。