ninfer 对比 llama.cpp：Qwen3.8 27B 提速 2.3 倍

2026 年 10 月 3 日，Reddit 的 LocalLLaMA 版块出现一篇用户自测帖，内容是有人在 RTX 5090 上对比 ninfer 与 llama.cpp 运行 Qwen3.8 27B 的表现。测试条件为：同一提示词（与物理、自旋相关，含完整规则）、120k 上下文、开启 thinking（xhigh）、默认采样设置，单次运行（oneshot）。据帖子摘要，ninfer 解码约 147 tokens/s，llama.cpp（Q4_K_M + MTP）约 141 tokens/s，两者耗时分别为 7 分 40 秒与 8 分 13 秒。帖子作者称，改用 ninfer 的 NVFP4 版本后输出量更大。

值得注意的是，报道标题称 ninfer 相比 llama.cpp 提速 2.3 倍，但摘要中给出的解码速度差距只有约 4%，两处说法并不一致。原文片段显示的表格数据也不完整，只保留了 ninfer 在非 NVFP4 构建下的精度与 MTP 一栏的开头，无法据此核对全部数字。目前这件事只停留在这一篇用户发帖，没有其他来源、后续测试，也没有 ninfer 或 llama.cpp 任何一方的官方说明。