淘宝 MNN 团队开源 0.3B 端侧模型，实现超高解码吞吐

2026 年 11 月 6 日，淘宝旗下 MNN 团队正式开源 MNN-Pocket-0.3B 手机端侧大模型，面向手机应用的任务需求与资源预算，要在有限的算力、内存和能耗下兼顾任务能力、响应速度与持续运行体验。

围绕淘宝等综合型手机应用，团队把「手机应用原生大模型」落实为四个维度的设计目标。速度方面，在指定设备与上下文配置下，解码吞吐目标超过 200 token/s；这一目标参照高速云端模型服务的生成吞吐，力求在本地提供流畅的生成体验。内存方面，在指定测试条件下，峰值内存目标低于 300MB。团队指出，即使手机拥有 8～16GB 内存，也需要由系统与多个应用共享，以约 500MB 的模型模块预算为例，把推理峰值控制在 300MB 以下，可以为上下文增长和集成开销保留余量。功耗方面，在典型推理负载（输入 512~1024 token、输出 128 token）下，单次推理增量能耗目标不超过参考手机电池能量的万分之一，即 100 次推理耗能不超过电池总能量的 1%，以控制高频调用的续航开销。能力方面，目标是在指定业务场景上达到 8B 级模型的效果，兼顾中英文理解、世界知识与数学、代码推理能力，重点强化指令遵循，并面向长上下文与多步骤任务设计。

目前这轮发布所披露的信息止于上述设计目标，尚无关于代码与权重获取方式、具体测试设备型号等更多细节的报道。