開源量化方法 MACaQ 在 GGUF 格式上表現超越同類

2026 年 11 月 12 日 01:32，Reddit 的 LocalLLaMA 社群出現關於開源量化方法 MACaQ 的討論，使用者公佈了其在 GGUF 格式與 llama.cpp 執行環境下的測試結果，稱其質量優於 Unsloth 與 Bartowski 的同類量化方案。

在對 Qwen3-4B（IQ4_XS）的量化測試中，MACaQ 生成的 GGUF 檔案大小為 2.260 GB，平均 KL 散度為 0.02804；Bartowski 與 Unsloth 的對應檔案大小均為 2.271 GB，平均 KL 散度分別為 0.03443 和 0.03663。社群給出的對比結論是，在檔案大小几乎相同的前提下，MACaQ 的 KL 散度比 Unsloth 低 23.5%，比 Bartowski 低 18.6%。在對 Qwen3.6-35B-A3B（IQ4_XS）的量化測試中，MACaQ 的 GGUF 檔案為 18.86 GB，平均 KL 散度 0.018696；Unsloth（UD-IQ4_XS）為 17.73 GB、0.020954，Bartowski 為 19.70 GB、0.021927。材料中還出現了 Qwen3.8-27B（IQ4_XS）的量化測試字樣，但對應的資料未完整列出。目前該討論只發布了上述測試結果，尚無 MACaQ 方法的官方說明或後續進展。