国产GPU跑通推理，先别急着上生产

拿 MTT S4000/S3000 全功能GPU 跑一个最小模型推理，也就是让训练好的模型回答问题，适合学习和小规模验证，不适合直接把它当成生产答案。我带新手从开实例到出结果走一遍，先把优缺点摊开。

元创平台是摩尔线程给开发者开机器、管环境的入口，把机器、驱动、环境打包好了，省掉自己装系统、配驱动、找镜像。S4000 资料里写单卡 48GB 显存，对几 GB 到十几 GB 的模型比较友好。全功能 GPU 还能兼顾渲染、视频处理，适合杂活验证。

软件生态不是拿来即用，习惯了 CUDA（英伟达那套调用 GPU 的软件层）的人会被绊一下。报错信息可能不如主流平台直观，新手容易乱猜。能跑通不等于稳定，延迟、吞吐、兼容性都要自己压。

下面是路径。入口名字可能略有差异，找同类的 实例管理、创建实例 即可。

1. 注册并登录元创平台，找到 实例管理，点 创建实例。选 MTT S3000，镜像选带 MUSA 和 PyTorch 的。镜像是预装好的系统模板。MUSA 是摩尔线程自己那套让程序调用 GPU 的软件栈，PyTorch 是写模型和推理脚本的框架。配置先别贪多，1 卡、8GB 以上系统内存、足够磁盘。填 SSH 公钥，没有公钥就选密码。点创建。看到状态从 创建中 变 运行中，一般就能进。

2. 复制公网 IP，用终端连接 ssh root@你的IP。SSH 是远程登录命令。第一次会问是否信任，输 yes。看到命令提示符，说明机器通了。

3. 跑平台给的检查命令，比如 musa-smi。看到 GPU 名称、显存、利用率，说明驱动和运行时活着。没看到就停，先找平台状态或工单，别急着装东西。

4. 建工作目录 mkdir -p /data/infer && cd /data/infer，把小模型权重放进去。权重是模型参数文件。新手别上几十 GB 模型，拿一个几 GB 的开源小模型即可。可以本地上传，或在机器里下载。下载慢就本地传，别把时间耗在网络上。

5. 写一个最短推理脚本，核心就几行，加载模型、设置设备、输入一句提示词、打印结果。设备别写 cuda:0，先按镜像说明写 musa:0。命令类似 python infer.py --model ./model --prompt "用一句话解释 GPU 显存" --device musa:0。

6. 等输出。第一次可能要初始化，慢一点正常。看到模型回话，再看 musa-smi 里显存占用有变化，这步就算跑通。

踩坑环节，第一个坑，直接拿老 CUDA 脚本跑，报 torch.cuda 不可用。先改设备，别自己编译扩展，用平台预装环境。第二个坑，显存不够，模型太大，进程被杀。换更小模型，或减少批处理长度，也就是一次喂进去的字数。要跑十几 GB 以上，再考虑 S4000 的 48GB 显存。第三个坑，以为多卡训练像插 U 盘。S4000 资料里提到 MTLink 和多卡集群，MTLink 是卡间高速通道，但真正训练千亿参数，网络、调度、存储、框架适配一个都不能少。第四个坑，只看单次能回答，不看稳定性。我这边测下来，跑通一次和连续跑一小时不崩，是两个难度。

资料里写 S4000 单卡 48GB 显存、768GB/s 带宽，还支持多卡互联。数字好看，但落地还是得看工具链和真实负载。它适合做入门验证、小样本推理、给项目做可行性打样，不适合一上来就承担严肃生产流量。我上周写过半导体营收，先别急着喊 AI 落地。这句话放在国产 GPU 上也一样，上游算力热闹，不等于下游交付已经成熟。

学完这个，下一步可以试拿同一个模型分别跑 CPU、S3000 和 S4000。CPU 是普通处理器。记录首次响应、显存峰值、连续十次平均耗时。数据出来再决定要不要上训练。