ninfer 對比 llama.cpp：Qwen3.8 27B 提速 2.3 倍

2026 年 10 月 3 日，Reddit 的 LocalLLaMA 版塊出現一篇使用者自測帖，內容是有人在 RTX 5090 上對比 ninfer 與 llama.cpp 執行 Qwen3.8 27B 的表現。測試條件為：同一提示詞（與物理、自旋相關，含完整規則）、120k 上下文、開啟 thinking（xhigh）、預設取樣設定，單次執行（oneshot）。據帖子摘要，ninfer 解碼約 147 tokens/s，llama.cpp（Q4_K_M + MTP）約 141 tokens/s，兩者耗時分別為 7 分 40 秒與 8 分 13 秒。帖子作者稱，改用 ninfer 的 NVFP4 版本後輸出量更大。

值得注意的是，報道標題稱 ninfer 相比 llama.cpp 提速 2.3 倍，但摘要中給出的解碼速度差距只有約 4%，兩處說法並不一致。原文片段顯示的表格資料也不完整，只保留了 ninfer 在非 NVFP4 構建下的精度與 MTP 一欄的開頭，無法據此核對全部數字。目前這件事只停留在這一篇使用者發帖，沒有其他來源、後續測試，也沒有 ninfer 或 llama.cpp 任何一方的官方說明。