端侧跑 35B 大模型，这块芯片现场看下来卡在哪

周末折腾了一下光羽芯辰的 TC1000，踩了不少坑。说是折腾，芯片这玩意儿我也搬不回家，我蹭的是一个做具身智能的客户那边的实验室，他们在评估端侧推理方案，我在那儿待了两天，摸到的是评估板加一套厂商给的镜像。

先把这东西说清楚。TC1000 是光羽芯辰今年 7 月在 WAIC 上发的端侧大模型推理芯片系列，主打 3D 堆叠近存算加存算融合。近存算这词第一次见容易懵，拆开讲就是：以前算和存是分开的，数据在内存和计算单元之间来回搬，搬运本身耗电耗时；近存算就是把计算单元尽量挪到存储旁边，少搬一点。存算融合再进一步，直接在存储阵列里做一部分计算。

为什么要这么绕。因为内存墙。

内存墙这概念 1994 年就有人提了，处理器性能年均涨 55%，内存只有 10%，差距越拉越大。

传统解法是堆 HBM、上更先进的制程，贵，而且被卡。近存算这条路的逻辑是绕开制程，用架构换能效。国内走这条路线的不止一家，思路大同小异，TC1000 是其中把端侧推理讲得比较明确的一个。今年一季度全球端侧 AI 芯片出货同比涨了 78%，这个方向确实热。

官方指标里，等效带宽比传统方案提升 10 倍，单芯片能跑 3B 参数模型，支持 35B 规模在端侧跑。注意措辞，单芯 3B 是硬的，35B 我现场问过，得到的说法偏整机方案，具体几颗芯怎么拼他们没细讲。所以看到 35B 先别当成单芯片的能力。

先说跑得通的部分

我在那边主要试的是把自然语言指令拆成动作序列这一段，这活儿放端侧做的意义是省掉一次上云往返。跑下来延迟是能进闭环的，具体多少毫秒我这边没测准，不敢报数。功耗是我最在意的一点，评估板整体发热比我想的小，没上主动散热也能撑住一段连续推理。

架构上 TNQ 和 GNQ 是分开的，GNQ 管通用计算，定位类似 GPU 那一路，TNQ 负责张量。这个组合的意思是不只想做大模型推理，还想顺手吃掉一些传统通用计算。对做机器人的人这点挺实用，端侧往往不是一个模型的事，前面还有一堆信号处理和状态估计。

再说卡住的部分

工具链是最大的坑。量化那一步我折腾最久，不是所有算子都能直接映射过去，碰上不支持的得改图重写，工作量看模型结构，运气不好能吃掉好几天。文档有，但覆盖度跟 CUDA 那套生态没法比。我搜了一圈第三方评测，几乎搜不到，基本只能靠厂商给的资料和现场问人。第一次接触的人会很不友好。

第二个是 3B 这个天花板。做具身智能的都知道，VLA 这类模型现在动不动 7B 起，3B 拿来干指令解析、感知前端、状态预测都行，但真正的策略网络它扛不住。它更像端侧的协处理器，不是端侧的大脑。指望一颗芯把整条链路包了，会失望。我前段时间折腾灵巧手控制，最大的体会也是这个，端侧的事最后都落到延迟和功耗上，而这两样是被模型规模直接锁死的。

第三个是那个 10 倍。等效带宽，不是物理带宽，口径要看清。这不算缺点，但容易误读。

结论是看情况。适合的团队：做端侧产品、对功耗和延迟敏感、自己有算子适配和量化的人力、出货量撑得起这颗芯的采购门槛。不适合的：想拿它当通用训练卡，或者习惯了开箱即用 CUDA 那一套的人。小团队两三个人也别指望啃得动工具链。

给个行动建议，也是我自己下次会先做的：先别急着要板子，把支持模型清单要过来，拿自己的模型结构一个算子一个算子对一遍，把需要自己重写的部分列出来。这份工作量估不出来之前，其它指标都是虚的。