开发者对比 Qwen3.8 27B 的 INT4 AWQ 与 INT8 高负载表现

2026 年 10 月 31 日 11:19，一位开发者在 Reddit 的 LocalLLaMA 版块发帖，分享了将 Qwen3.8 27B 从 INT8 切换到 AWQ INT4 后在重负载 Agent 测试中的实际日志对比。据帖文所述，作者于 10 月中旬完成切换，此前使用 INT8 方案配备 4 块 RTX 3090，切换后改为 2 块 RTX 3090。两次部署的推理栈相同：vLLM、FP8 KV、DFlash2，采样参数为 temperature 1.0、top_p 0.95、top_k 20、presence_penalty 0、thinking 设为 medium，循环检测用 Hermes harness，对比对象为 int4-awq 与 int8 两个版本，每套配置各取约两周日志。

作者给出的对比结果为：模型调用次数从 17.7k 降至 11.4k；每 1k 次调用中的死循环次数从 1.9 升至 4.7；出现至少一次循环的对话占比从 6% 升至 12%。值得注意的是，标题写作 INT4 AWK，正文写作 AWQ INT4，两处拼写不一致。目前该帖为单一信源，材料中没有其他报道对上述数字和结论加以印证或反驳。