NVIDIA 部落格解析 DGX Spark 上 MoE 推理效能的三種最佳化方法

2026 年 10 月 27 日，NVIDIA Developer Blog 釋出部落格，分析了 Inclusion AI 的 Ling-3.0-flash 模型在 NVIDIA DGX Spark 上的推理效能，並介紹了三種最佳化方法。部落格稱，提升 token 生成速度要從先弄清推理效能的瓶頸所在開始。

針對 Ling-3.0-flash 在 DGX Spark 上進行的 batch-size-1 評測，效能剖析顯示解碼階段受限於記憶體頻寬：讀取模型權重是執行時間的主導因素，其中混合專家（MoE）計算和在模型詞表上產生打分的輸出層投影這兩項操作尤為突出。據此，部落格歸納出兩條改進思路：減少每個解碼步驟中的權重傳輸量，以及讓每個驗證輪次生成更多 token，並圍繞這些開銷給出了三種技術。

部落格在文中表示，這些技巧能有效提升混合專家模型的推理速度，目前進展即停留在該篇部落格的分析與方案介紹層面。