淘寶 MNN 團隊開源 0.3B 端側模型，實現超高解碼吞吐

2026 年 11 月 6 日，淘寶旗下 MNN 團隊正式開源 MNN-Pocket-0.3B 手機端側大模型，面向手機應用的任務需求與資源預算，要在有限的算力、記憶體和能耗下兼顧任務能力、響應速度與持續執行體驗。

圍繞淘寶等綜合型手機應用，團隊把「手機應用原生大模型」落實為四個維度的設計目標。速度方面，在指定裝置與上下文配置下，解碼吞吐目標超過 200 token/s；這一目標參照高速雲端模型服務的生成吞吐，力求在本地提供流暢的生成體驗。記憶體方面，在指定測試條件下，峰值記憶體目標低於 300MB。團隊指出，即使手機擁有 8～16GB 記憶體，也需要由系統與多個應用共享，以約 500MB 的模型模組預算為例，把推理峰值控制在 300MB 以下，可以為上下文增長和整合開銷保留餘量。功耗方面，在典型推理負載（輸入 512~1024 token、輸出 128 token）下，單次推理增量能耗目標不超過參考手機電池能量的萬分之一，即 100 次推理耗能不超過電池總能量的 1%，以控制高頻呼叫的續航開銷。能力方面，目標是在指定業務場景上達到 8B 級模型的效果，兼顧中英文理解、世界知識與數學、程式碼推理能力，重點強化指令遵循，並面向長上下文與多步驟任務設計。

目前這輪發布所披露的資訊止於上述設計目標，尚無關於程式碼與權重獲取方式、具體測試裝置型號等更多細節的報道。