物界前沿 · 资讯情报卡(IT之家 · 2026/11/6)
淘宝MNN开源0.3B手机模型,iPhone 18 Pro离线解码350token/s
核心事实
- 淘宝MNN团队发布并开源MNN-Pocket-0.3B,参数约3亿,重点支持中英文。
- 该模型在iPhone 18 Pro上完全离线运行,平均解码速度约350token/s。
- INT4部署文件为173MB,比Qwen3-0.6B小约49%,峰值内存增量少约47%。
- 模型采用28层结构,词表从约151K精简至64K,缩减约57%。
- 一加13实测单轮推理增量能耗约2.7J,100次任务耗电约占电池0.3%。
关键数据
350token/siPhone 18 Pro解码速度
173MBINT4部署体积
约49%部署体积较Qwen3-0.6B减少
73.20英文IFEval得分
物界观察
端侧模型的竞争点正从参数规模转向单位资源下的可用性。淘宝把模型压到0.3B并绑定自家推理引擎,既服务App内高频调用,也给开发者一个低门槛底座。但0.3B能否撑起复杂业务仍待验证,真正的看点是后续应用集成效果。
来源:IT之家原文 ↗
物界前沿