🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 采集 2026-11-06T04:07:20+00:00

淘宝MNN团队开源0.3B手机模型

原始标题:淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s

来源
ithome
发布时间
2026-11-06T03:50:20
采集批次
2026-11-06-04
字数
1278
URL 指纹
efd66f34bec5c95e

📌 AI 总结(201 字)

淘宝MNN团队开源面向手机应用的轻量语言模型MNN-Pocket-0.3B,模型重点支持中英文,并在苹果iPhone 18 Pro上完全离线实现约350 token/s的平均解码速度。其INT4部署文件仅173MB,在iPad Pro M5上的峰值内存增量为228MB,体积和内存占用均明显低于Qwen3-0.6B。模型兼顾响应速度、能耗与任务能力,开发者可基于多个预训练及部署版本继续训练和应用集成。
📄 正文(1278 字)
淘宝旗下MNN团队发布了MNN-Pocket-0.3B模型,面向手机应用在有限算力、内存和能耗条件下的任务需求,重点支持中文和英文。该模型从零设计并训练,规模约3亿参数,团队将模型结构、词表、训练数据、预训练与后训练方法、量化及推理引擎进行协同优化,为应用集成提供轻量化底座。

在苹果iPhone 18 Pro真机测试中,MNN-Pocket-0.3B通过MNN推理引擎完全离线运行,平均解码速度约为350 token/s。其INT4部署文件体积仅173MB,包含模型权重、分词器、计算图和推理配置。

在iPad Pro M5、Metal后端及512 token测试配置下,模型加载与推理期间的峰值Metal驻留内存相对加载前增加228MB。同等条件下,Qwen3-0.6B部署文件为340MB,峰值内存增量为427MB,MNN-Pocket-0.3B的部署体积减少约49%,峰值内存增量减少约47%。较小体积可降低下载和更新成本,较低内存占用也能为图片、视频等业务模块留出更多空间。

跨设备测试显示,在iPad Pro M5的Metal后端上,MNN-Pocket-0.3B的Prefill吞吐达到8721 token/s,Decode吞吐达到466 token/s,约为同条件Qwen3-0.6B的1.63倍;在骁龙8 Gen 5的CPU后端,Decode吞吐为251 token/s。团队将峰值内存低于300MB、解码吞吐高于200 token/s作为选型目标,并在约5000万至13亿参数的稠密模型中进行比较,最终确定约3亿参数是同时满足限制的最大候选规模。

模型最终采用28层结构,并引入分组查询注意力,在能力、内存和效率之间取得平衡。继续将层数从28层增至36层后,评测均分未再提高,解码吞吐却从355 token/s降至323 token/s。词表则基于Qwen3分词器从约15.1万精简至6.4万,使词条数量减少约57%,降低词嵌入、输出层存储及逐Token生成时的投影开销。

功耗测试方面,在一加13上采用CPU四线程、输入1024 token和输出128 token的负载,平均增量能耗约为2.7焦耳。以该手机6000mAh电池容量计算,执行100次相同任务累计增量能耗约占电池总电量的0.3%。

能力评测中,模型英文IFEval得分为73.20,中文指令遵循IFEval-zh得分为74.59;在覆盖中英文知识、推理、数学、代码和指令遵循的11项评测中,平均得分为50.00,高于报告所列同规模模型以及MiniCPM4-0.5B、Qwen3-0.6B等更大模型。其中中文数学MGSM-zh得分为51.20,代码生成HumanEval得分为53.66。

为支持后续研究和端侧应用,MNN-Pocket-0.3B提供Base、W4A16 QAT部署版及DFlash2投机解码草稿模型等版本。后者结合MNN的块级生成与验证机制,在特定任务下的解码吞吐最高可达常规自回归解码的2.06倍。相关模型与代码已通过MNN开源项目发布。