端侧大模型落地，先卡在模型转换这一步

周末折腾了一下北极雄芯这套端侧加云端的推理产品，踩了不少坑。名字有点绕，我按用法拆成两半：一半跑在板子上，一半走网络。

我手头的场景不复杂，工业质检的小活，图片进来先做初筛，拿不准的再往上送。之前拿 ESP32 玩了三个月，知道端侧这碗饭不好吃，所以预期压得很低。

拿到的是评估套件加 SDK。装环境还算顺，交叉编译工具链有现成脚本，跑通 demo 花了半个下午。真正的坎在模型转换。我拿一个开源的小参数多模态模型往上转，工具链支持主流量化，但算子覆盖不全，第一次转直接报了一串不认识的 op。翻文档，写的是“支持常见结构”，哪些算常见，得自己去试。这跟我之前吐槽过的口径问题一模一样，宣传页一套，SDK 仓库里的说明又是另一套。

换了个结构简单的模型，转过去了。量化到低比特之后掉点明显，同一个测试集，本地结果比云端差一截。这个我能接受，参数和精度都砍了。让我意外的是延迟，本地一次推理基本在几十毫秒量级，不用等网络，隧道、地库这类弱网场景该有的优势确实有。云端那条链路我也接了，正常网络下两三百毫秒，抖动起来能到一秒往上，差别很明显。

云端的好处是能力上限高，复杂问题还是得往上送。所以最后落的是混合路子：端侧先接住大部分请求，拿不准的转云端。这套组合在行业讨论里被反复提到，说是多数产品的工程最优解，我这边跑下来认同这个判断。

缺点也得说。一是文档和实际行为的偏差，模型转换这块尤其明显，踩坑时间比写业务代码还长。二是调试手段偏少，本地跑崩了不像云端能拉日志，只能靠串口一点点打。三是团队门槛，这不是插上电就能用的东西，得有人懂交叉编译、懂量化、懂算子适配。我这边是硬凑出来的，换个小团队大概率卡住。

优点是延迟和数据不出本地，实打实。医疗、金融、工厂工艺参数这类数据本来就不该往外传，端侧是唯一解。

结论看情况。做车载、工业、IoT，弱网或者数据敏感，团队里有嵌入式的人，值得上。只是想给应用加个问答能力，云端 API 便宜省事，没必要折腾板子。

往后看一年，我猜纯端侧和纯云端都会往中间靠，端侧负责唤醒和初筛，云端负责兜底，这条线会变成默认架构。现在做选型的，早点把接口抽象出来，别把业务焊死在某一边。