3GB内存这个数字，比跑分更值得看

上周团队报了个端侧选型方案，我看完第一反应是它能不能塞进客户已经在用的机器里，模型本身多强倒在其次。面壁这次开源的 MiniCPM-V 4.7，35B-A3B 那版，官方口径是总参 350 亿、每次推理只激活 30 亿，iPhone 17 Pro Max 上约 3GB 内存跑到 13+ token/s，iPad Pro 实测 15+。这个数字我盯了一会儿。\n\n3GB 意味着什么。去年我们做端侧试点，卡住的地方在内存和功耗，跟模型智力没什么关系。多模态要处理图片视频，中间态占用一上去，中端机直接杀进程。所以我七月份写过一篇，说端侧大模型真进消费电子核心产品，标志就是能装进不换机的存量设备，跑分高低说明不了什么。这次算是往那个方向挪了一步。\n\n然后是账。云端多模态按调用付费，我们内部算过，一个日活十万的拍照问答场景，推理成本一个月能吃掉小半个团队的预算。端侧一旦跑得动，这部分就变成一次性的适配成本，剩下是电费。对做硬件的来说，采购逻辑跟着变了。\n\n也有要泼冷水的地方。官方说 35B-A3B 是首个端侧无损运行的 MoE，这个无损我理解是相对同规格量化版本说的，跟云端大模型不在一个量级。1B 那版面向入门设备，能力上限更低，别指望它干复杂推理。另外 MoE 的专家调度放到端侧，会不会带来延迟抖动，我这边还没实测，不敢替它打包票。\n\n判断就一句：能不能让客户不换硬件就把功能加上，这才是端侧多模态的胜负手。谁先把适配和工具链做顺，谁先拿到单子。