推理和训练放一起算账，我跑了一遍

我对比了Verda这套推理与前沿模型训练基础设施，和我们原来分开买的两套集群，实际跑了一遍。前后大概花了一个下午加一个晚上。

先说为什么要看它。我两个月前写过一篇，讲训练推理分家是RL时代最贵的浪费。当时我的判断很简单，训练集群追求吞吐和高速互联，推理集群追求低延迟和高并发，两边硬件配置天然不同，所以大多数团队干脆买两套。问题是RL这条路上，训练和推理是交替跑的，一边跑一边停，停的那一边就是纯闲置。从财务角度看，闲置的GPU是最贵的东西，它同时在折旧，同时占着现金流。

Verda这套东西的卖点就是把这个边界抹掉，同一套资源既能扛训练也能扛推理。AI Infra指的是给大模型提供算力、网络和存储的底层设施，模型就跑在上面。

开通的过程比我想的简单。注册、绑卡、选区域，然后进控制台。资源是按实例规格分的，有偏训练的大显存高互联机型，也有偏推理的性价比机型，网络那一栏标了带宽。我第一反应是这不就是把两张价目表并排放在一起。往下点，它给了一个训推一致的选项，意思是同一批数据、同一套环境，训练完直接切推理，不用重新打包镜像、重新配依赖。

这一点我是真吃过亏的。以前训推分家，最烦的是环境漂移，硬件本身倒不是问题。训练那边跑通的依赖，搬到推理机器上就报错，一查是CUDA版本或者某个库对不上，一折腾就是半天。这种活不产生任何业务价值，但工时是实打实烧掉的。

我拿一个小尺寸的开源模型跑了个小任务，先做了几轮带GRPO的微调。GRPO这里解释一句，它是一种强化学习方法，核心是让模型对同一道题生成一组答案，然后组内互相比，谁比平均分高就奖励谁，省掉了单独训一个打分模型的开销。跑完直接切到推理，请求同一个模型，延迟我这边测下来可以接受，没出现明显的冷启动。

中间卡住的地方有两个。一个是数据上传，我那个数据集不大，但上传通道的速度和预期有差距，后来换了个区域好一些。另一个是配额，默认给的并发不高，我提了工单才加上去，等了大半天。这两件事都不算产品缺陷，属于云服务常见的流程摩擦，但你要是赶时间，得提前预留出来。

惊喜的地方是计费。它按实际占用时长算，实例停了不计费，中间切换训练和推理的间隔不用重开机器。我拿计算器按了一下，如果按我们以前两套集群的闲置率折算，同一批活的账面成本是能压下来的。具体压多少取决于你的闲置比例，这个数每个团队不一样，我不好给一个统一答案。

要说缺点也有。一是控制台的信息密度偏高，第一次进去容易找不到北，我花了十几分钟才把计费规则和规格对应上。二是它对网络要求不低，如果你的数据在本地机房，上传这段会变成瓶颈，最好先把数据放到同一个区域的对象存储里。三是生态上它还是偏通用，如果你重度依赖某个国内框架的特定适配层，迁过来要自己补一些胶水代码。

结论放这。适合谁，做推理模型、跑RL后训练、训练和推理交替比较频繁的团队，尤其是那种自己买了两套集群、闲置率一直下不来的。不适合谁，只是偶尔跑一次推理，或者模型规模很小、一台单机就够的团队，上这套属于杀鸡用牛刀，账算不过来。

下一步我打算把线上那条推理链路迁一小段过来做灰度，看看长期跑下来的稳定性和账单曲线。一个下午的测试说明不了什么，现金流健康不健康得看几个季度。