全栈推理算力方案：空机器到第一个推理结果

被朋友安利了曦望Sunrise这套全栈推理算力方案，说它把模型部署那摊活儿收得比较干净。我上周抽了个下午试了一遍，从一台空机器到跑出第一个推理结果。结论先给：能跑通，但前半小时基本都在跟环境较劲。

先把两个词说清楚。推理，就是模型训练完之后，你问它一句它答一句的过程，跟你在聊天框里打字是同一件事。全栈算力方案是把芯片、驱动、调度软件、模型服务打包成一整套，你只管调用，中间那层不用自己拼。

为什么试这个。之前我自己拼过一套，找一台带卡的机器，装驱动，装推理框架，拉模型权重，起服务，再自己封一层接口出去。昇腾社区有篇讲 GPUStack 的技术文章，里面有句话我印象很深：

主流的官方推理引擎 MindIE 的多机分布式推理虽然性能表现尚可，但配置流程异常复杂，从环境准备、配置初始化到参数细节调整，每一步都需要格外谨慎，否则极易因细节遗漏或配置错误而导致部署失败。

说的是昇腾，但换哪个平台都差不多。我自己踩的坑基本都在这句话里。

两个方案先摆一起看。

环节	自己拼	全栈方案
驱动和框架版本	自己对齐，最容易翻车	镜像里带好
拉模型权重	手动下载、转格式	列表里选
起服务	拼启动参数	填几个数
对外接口	自己封一层	直接给 OpenAI 兼容接口
加机器扩容	重新配一遍	节点加上去

差别最大的是最后一行。自己拼的时候，加一台机器等于把前面所有步骤再走一遍；全栈这套是多一个节点，服务这边少操心。

动手，从登录到出结果。

1. 登录控制台，左侧菜单找 算力节点。第一眼看节点状态那一栏，在线是绿的。离线就先别往下走，八成是网络或者驱动没起来。

2. 进 模型服务，点 新建服务。模型列表里选一个 7B 级别的小模型。别一上来挑最大的，理由后面说。

3. 会问你两个参数。并发数，就是同时能接几个请求；最大长度，就是一次最多让它吐多少字。这两个都用默认，先别动。

4. 点 部署，等状态从 创建中 变成 运行中。7B 这个量级我这边几分钟就好了。

5. 服务起来后页面会给一个地址和一个 key。OpenAI 兼容接口的意思就是，你原来用 OpenAI 写的代码，把地址和 key 换掉就能直接用，调用逻辑一行不用改。

然后验证。我在同一台机器上先跑本地地址：

curl http://<服务地址>/v1/chat/completions \

-H "Authorization: Bearer <你的key>" \

-d '{"model":"<模型名>","messages":[{"role":"user","content":"你好"}]}'

返回的 JSON 里有 content 字段，链路就通了。

坑一，网络。服务在机器上起来了，从外面连不上。别急着改配置，先在机器上 curl 本地地址。本地通说明服务没问题，剩下的都是网络策略的事。

坑二，模型挑太大。我第一次直接上了个大的，显存不够，服务起来又挂，日志里只给一个内存不足。先把 7B 跑通，再往上加，链路验证和性能验证是两件事，别混着做。

坑三，并发数。默认值给得偏高，压测的时候延迟开始抖。我这边测下来把它压到一半，单请求的延迟就稳了。这个数跟卡和模型都有关，别照抄别人的。

从登录到第一个结果返回，实际在平台上操作的部分不到一小时。省下来的大头在版本对齐那一两个小时。7B 模型单请求的首字延迟在几百毫秒这个量级，连着问几轮没出现卡顿。坑二最费时间，图快直接上大模型，来回重启浪费了差不多四十分钟。

我七月底写过一篇推理成本的帖子，那篇算的是账，这篇算的是能不能落地。做芯片的人看这套东西，会习惯性去看它把哪些活儿放在了软件层。我做了几年5G基带，对这件事比较敏感：同样的算力，调度写得好不好，直接决定你能不能绕开功耗墙。

学完这个，下一步可以试两件事。一是把并发往上压，看那张卡的延迟拐点在哪，这个数比跑分有用。二是接一个自己的业务接口进去，比如把一段客服对话丢给它做分类，看端到端要多久。

模型部署往后一两年大概率会像当年上云一样普及。装起来不难，难的是管得住，能说清楚成本、并发和稳定性边界。就这些。