AMD 这套本地编码方案，我上手试了三天，说点实话

先说结论：这套东西适合钱多、数据敏感、代码量大的企业，不适合个人开发者，也不适合中小团队拿来尝鲜。我这边测下来，它最大的价值不是性能，是“把日常编码留在本地”这个思路，但代价不低。

上周三实验室搬进来一台 Supermicro 的机器，8 张 MI325X，3TB 内存，双路 EPYC 9575F。我花了大概两天才把环境搭起来。先别笑，我不是第一次碰 AMD 的卡，之前在用 MI300 系列跑过推理，但这次是整套验证过的方案，本来以为会省事很多。结果第一步就卡了，ROCm 的版本和 PyTorch 的兼容性折腾了小半天，最后还是靠官方容器镜像解决的。这里给新手提个醒，别自己配环境，直接拉他们发布好的镜像，能省半天时间。

跑起来之后，我拿手头一个中型项目试了试，主要是代码补全和简单的重构。单张 MI325X 有 256GB 显存，带宽 6TB/s，这个规格跑 70B 左右的模型很从容。我本地部署了一个编码专用模型，日常的补全、生成测试、改 bug 这类活基本感觉不到延迟，跟在云端用 ChatGPT 差不多，甚至更快。重点是数据不出内网，这点对很多公司是刚需。

比较有意思的是它那个“策略路由”功能。简单说，你来一个请求，系统自己判断这活本地能干还是得丢给云端的大模型。日常的重复性编码留在本地，复杂的架构设计或者跨模块重构，才转发给 Claude 或 GPT。我试了几天，大概八成的请求都留在本地了，真正转出去的没几个。这个设计很聪明，既保住了隐私，又省了 token 费用。官方说能省七成的 token 成本，我这边测下来差不多，但前提是你得先把路由规则调好，不然该转的不转，不该转的乱转。

麻烦的地方也有。整套东西部署门槛不低，虽然说是“验证过的方案”，但中间件那一层，Spectro Cloud 的 Kubernetes 平台，我这边配置策略路由的时候还是踩了几个坑。文档写得不算差，但有些细节只有自己试了才知道。比如有个参数默认值会导致某些长上下文请求超时，我查了大半天才找到原因。另外，这套硬件本身不便宜，8 张 MI325X 加上整机，预算得要几十万起步，个人开发者就别想了。

还有个问题，编程模型生态。虽然现在 ROCm 兼容性比两年前好多了，但遇到冷门算子还是可能得自己改代码。我跑 torch.compile 的时候就有个算子不支持，得换实现方式。这些都是时间成本，得算进去。

总的说，这套方案适合三类人：数据敏感的企业、代码量大的团队、以及想摆脱按 token 付费的长期用户。不适合刚起步的小团队，也不适合只想试试水的人。我自己这几天用下来，感觉本地推理的大方向是对的，但离“开箱即用”还有段距离。等这套东西再成熟点，部署文档再厚点，我可能会推荐给更多人，现在嘛，先自己玩着。

---

本文编译自 Hacker News，原文：AMD Instinct Coder Puts 8 MI325X GPUs Behind Local AI Coding, Claiming 70% Lower Token Costs - StorageReview.com
版权归原作者所有，本文为基于公开报道的编译与独立分析。