开源量化方法 MACaQ 在 GGUF 格式上表现超越同类

2026 年 11 月 12 日 01:32，Reddit 的 LocalLLaMA 社区出现关于开源量化方法 MACaQ 的讨论，用户公布了其在 GGUF 格式与 llama.cpp 运行环境下的测试结果，称其质量优于 Unsloth 与 Bartowski 的同类量化方案。

在对 Qwen3-4B（IQ4_XS）的量化测试中，MACaQ 生成的 GGUF 文件大小为 2.260 GB，平均 KL 散度为 0.02804；Bartowski 与 Unsloth 的对应文件大小均为 2.271 GB，平均 KL 散度分别为 0.03443 和 0.03663。社区给出的对比结论是，在文件大小几乎相同的前提下，MACaQ 的 KL 散度比 Unsloth 低 23.5%，比 Bartowski 低 18.6%。在对 Qwen3.6-35B-A3B（IQ4_XS）的量化测试中，MACaQ 的 GGUF 文件为 18.86 GB，平均 KL 散度 0.018696；Unsloth（UD-IQ4_XS）为 17.73 GB、0.020954，Bartowski 为 19.70 GB、0.021927。材料中还出现了 Qwen3.8-27B（IQ4_XS）的量化测试字样，但对应的数据未完整列出。目前该讨论只发布了上述测试结果，尚无 MACaQ 方法的官方说明或后续进展。