1B的端侧模型塞进旧笔记本，够用吗

被朋友安利了MiniCPM5，说1B参数在榜单上把同级开源基座全压了。我不太信。1B是什么概念，大概就是手机输入法联想那个量级往上一点。周末翻出一台没独显的旧笔记本，试试看到底好不好用。

先说怎么跑起来的。MiniCPM是面壁和清华NLP实验室一起做的开源系列，基座、多模态V、全模态o都有，权重公开。我拉了一版下来，转成能在CPU上跑的格式，量化了一档，内存占用压得很低。整个过程不到半小时，中间卡了一次，是转换脚本的参数写错，跟模型本身没关系。跑起来之后命令行里逐字往外吐，速度肉眼跟得上，风扇基本不转。

这是它最舒服的地方。我之前用华为的端侧本地大模型用了两个月，那套是往设备里塞的路子，工程量大但可控。MiniCPM5更像一块随手能捏的橡皮泥，随便一台机器都能起。

但好用的地方和不好用的地方一样明显。我拿它做了三件事：把客户邮件分成询价、投诉、催货三类；从一段产品描述里抽规格参数成JSON；还有让它解释一段报错日志。前两件基本能过，第三件就开始飘，它会很自信地编一个不存在的函数名出来。

结构化输出也不稳。同样一句提示词，跑几次总有一两次格式不对，多塞一个例子能好一些。我这边测下来，它更像一个只能干窄活的小工，指令越具体越靠谱，一让它自己规划步骤就开始跑偏。多轮对话超过三四轮，前面立的规矩就忘了。

中文标点偶尔也会出岔子，长句子里把句号吃进去。不影响人读，但要接进生产管线，后面必须加一层校验。这一点我吃过亏，之前做反馈分流那个原型就栽在没做校验上。

所以判断是看情况。做端侧功能验证的团队，值得先拿它跑一遍，成本几乎为零，一晚上能出结论。要在客户现场、内网、断网环境里做分类、抽取、打标这类窄任务，它能顶，功耗和隐私两笔账都划算。想拿它替代云端大模型写长文、做复杂推理、当Agent的大脑，趁早别想。

1B这个量级得当成另一种东西来用，按它的尺寸重新设计任务，原来的提示词直接搬过来多半不好使。

往后看一年，端侧模型大概率会变成产品里的默认一层，先本地判断，拿不准再上云。这层分工怎么设计，直接决定成本和响应。