不用显卡也能跑推理，新手第一步怎么走

上个月帮一个客户做推理侧的选型，第一次认真上手了 Euclyd 这套非GPU架构的系统。当时我的第一反应跟大多数人一样，不用显卡，那不就是拿CPU硬扛，能快到哪去。结果自己开了账号跑了两周，想法有点变。这篇把我从零到出结果的路径写一遍，给完全没碰过的人看。

先解释三个词，不然后面全是黑话。

推理，就是模型训练完之后，你问一句它答一句的这个过程。训练像上学，推理像上班。上学只看考得好不好，上班看的是每分钟能接待多少人。

量化，是把模型里那些数字用更粗的方式存下来。好处是模型变小、跑得快，代价是偶尔答得糙一点。目前4比特压缩是性价比最高的一档，我翻了几份对比材料，结论都一致。

吞吐和延迟，一个是一秒钟能答多少人，一个是一个人从问出口到拿到答案要等多久。这两个数经常互相打架。

从开到跑通，六步

1. 注册完进控制台，会让你选一个算力规格。新手直接选最小那档，先别管参数，够跑通就行。

2. 找到模型管理那块，挂一个已经压缩好的小模型上去。进度条走完，状态会从「加载中」变成「就绪」。这中间可能等几分钟，别反复刷新。

3. 用系统自带的对话框发第一句话。我一般让它「把下面这段话缩成三句」，然后贴一段新闻进去。看到它一个字一个字吐出来，说明链路是通的。

4. 切到接口页面，复制那串 key 和请求地址。用命令行发一次请求，预期是返回一段 JSON。这一步是给后面接你自己系统用的，不接也得先跑一次确认。

5. 把并发从 1 调到 8，看那两个数怎么动。我这边测下来，1 到 4 之间延迟基本没变，到 8 开始往上抬。

6. 最后看监控面板，重点盯 内存带宽 那一栏。

三个坑，我踩了两个

第一个是权重格式。压缩过的模型有好几种格式，GPTQ 和 GGUF 是最常见的两种，前者偏显卡路线，后者更通用。挂错了要么直接报错，要么加载完一动不动，界面上什么提示都没有。新手最容易在这儿耗掉一下午。

第二个是并发调太猛。并发往上推，到某个点延迟会突然跳一档，这个点得自己找。核心矛盾在于，去掉显卡省的是采购成本，瓶颈本身没消失，只是从显存挪到了内存带宽上。这跟我之前写协作机器人减重那篇是一个逻辑，省下来的东西未必落在你要省的地方。

第三个是上下文别一上来就拉最长。上下文越长，每答一个字要重读的东西越多，延迟涨得比直觉快。

有个说法我比较认同：生产环境出问题，多数是系统设计上的毛病。

跑通之后，下一步可以试两件事。一是把同一个模型分别放在这套系统和你手头那台带显卡的机器上，用同一批问题跑一遍，比延迟和每千次调用的成本。二是把并发慢慢往上推，找到延迟开始翘头的那个点，那个点基本就是你这条线的实际容量。

我这边测的场景偏轻，都是短文本问答。长文档摘要这类活儿放上去会是什么表现，我还没试。有跑过的可以聊聊。