端侧芯片不是插上就能跑，我踩了三天坑

朋友在做工业质检的小团队，上个月吃饭的时候把一块板子塞给我，说微纳核芯这套端侧与云侧AI芯片，你拿去玩玩看。我说行。然后这块板子就在我桌上待了七天。

先解释一下这是什么东西。AI芯片按部署位置分三条线：云端、边缘、端侧。云端是机房里的训练卡，端侧是塞进摄像头、眼镜、工控机里做推理的那颗芯片。微纳核芯这套产品名字起得很直白，叫「端侧与云侧AI芯片」，一套方案覆盖两头。我这次主要摸的是端侧那块，云侧只看了个大概。

第一天：板子点亮不难，跑通第一个demo花了一下午

拆开是个开发板，接口不多，供电、网口、几个USB。按说明书接上，上电，指示灯亮，半小时内能在电脑上ping通。说明书是PDF，我一边翻一边在心里嘀咕，这文档写得像给已经懂的人看的。

真正的坎在软件。装驱动、装工具链、跑官方那个图像分类demo。我拿之前跑Qwen2-VL那套视觉流程的图片喂进去试，能出结果。但从「能跑」到「知道它在干什么」，中间隔了一下午。

中间卡了一次，是模型转换。把训练好的模型转成芯片能吃的格式，这一步叫量化，简单说就是把高精度的数压成低精度，省内存省功耗。我第一次转完，精度掉得有点多。后来把校准集换成一批更贴近实际场景的图，才回来一些。这个坑不怪芯片，是我自己的数据太干净了。

第三天：算子支持和散热，两件绕不过去的事

第三天我换了个稍微复杂点的模型，卡住了。报错说某个算子不支持，得等工具链更新，或者自己改写。这是端侧芯片的通病，不是微纳核芯一家的问题。选型的时候很多人只盯着TOPS（每秒万亿次运算，一个算力单位）看，其实算子覆盖度比TOPS更能决定你能不能干活。

散热我也试了。连续跑推理跑了大概四十分钟，板子明显烫手，频率有没有掉我手上没测温枪不好说，但出结果的时间比刚开始慢了一点。端侧产品最后是要塞进设备里的，散热设计得提前想，不能等装进去才发现。

一周后：它该待在什么位置

后面几天我把云侧那条线也翻了一下。微纳核芯做的是云侧训练加端侧推理的配套，不是单卖一颗芯片。这个思路我认。

之前我写端侧模型那篇稿子的时候，觉得端侧就是要替代云。现在想法变了。云侧有三个绕不过去的问题：延迟、隐私、成本。端侧接的是这三个缺口，不是跟云抢活。云管全局，端管即时。

这套东西适合什么样的团队。已经有明确端侧推理任务、模型基本定型、要量产出货的那种，把模型压进去、把功耗调下来，价值很实在。反过来，模型还在天天改、想拿它当小服务器跑大模型的，就别碰了。端侧芯片的硬约束就是功耗和内存，你越界它就罢工，没有商量余地。

给个行动建议。想上端侧，先别急着买板子。把你最想跑的那个模型，用最差的一张图、最脏的一组数据先跑一遍。能过，再谈选型。过不了，省下的不只是钱。