NVIDIA 博客解析 DGX Spark 上 MoE 推理性能的三种优化方法

2026 年 10 月 27 日，NVIDIA Developer Blog 发布博客，分析了 Inclusion AI 的 Ling-3.0-flash 模型在 NVIDIA DGX Spark 上的推理性能，并介绍了三种优化方法。博客称，提升 token 生成速度要从先弄清推理性能的瓶颈所在开始。

针对 Ling-3.0-flash 在 DGX Spark 上进行的 batch-size-1 评测，性能剖析显示解码阶段受限于内存带宽：读取模型权重是执行时间的主导因素，其中混合专家（MoE）计算和在模型词表上产生打分的输出层投影这两项操作尤为突出。据此，博客归纳出两条改进思路：减少每个解码步骤中的权重传输量，以及让每个验证轮次生成更多 token，并围绕这些开销给出了三种技术。

博客在文中表示，这些技巧能有效提升混合专家模型的推理速度，目前进展即停留在该篇博客的分析与方案介绍层面。