16卡托盘：FuriosaAI的豪赌，还是AI芯片市场的必然？

推开首尔江南区一栋写字楼17层的玻璃门，FuriosaAI的测试实验室里，三台原型机正同时发出低频嗡鸣。工程师盯着示波器上跳动的信号，嘴里念叨着“互连延迟”“带宽利用率”。角落里的白板上，潦草地写着“16卡托盘——Supermicro联合开发”几个字，旁边画满了箭头和数字。这是一个月前的事了。如今，韩媒THE ELEC的报道证实了他们正在探索的这件“疯狂”的事：将16颗XPU塞进一个服务器托盘，直接挑战英伟达的HGX机架体系。

在AI芯片这个“赢者通吃”的赛道上，FuriosaAI的Reon系列一直被视为“第二梯队”的潜力股——性能不错，但生态薄弱。这次16卡托盘的设计，表面上是物理空间的扩展，背后却是对XPU互连域（interconnect domain）的重新定义。要知道，当前非机架式AI系统单节点通常至多容纳8个XPU，16卡意味着互连拓扑、散热、电源分配、信号完整性全部要推倒重来。

短期看，这是一次以“物理密度”换“算力密度”的战术突围。

FuriosaAI的Reon芯片在单卡性能上，与英伟达H100、AMD MI300X相比仍有差距。根据公开的FP8算力数据，Reon的峰值约为810 TFLOPS，而H100是1979 TFLOPS，MI300X是1307 TFLOPS。但通过16卡托盘，总FP8算力可达到12.96 PFLOPS，接近一台8卡H100机架的15.8 PFLOPS。这相当于用“堆料”抹平了代际差距。

从表格可以看出，16卡Reon托盘在总算力上接近8卡H100，但功耗高出约14%。这意味着FuriosaAI需要和Supermicro在散热方案上做文章，大概率要上液冷。对于中小型数据中心用户来说，如果价格足够低（比如Reon芯片单价低于H100的30%），这种“高功耗换性能”的方案可能仍有吸引力。

但短期内的风险也很明显：XPU互连的延迟和带宽是瓶颈。16卡互联需要高效的跨卡通信协议，目前FuriosaAI使用的是自研的P2P互连，但尚未公布详细带宽数据。如果互连效率低于英伟达的NVLink，实际训练任务中的线速扩展性会大打折扣。我从业内人士处了解到，FuriosaAI内部测试中，16卡在Llama 2 70B模型上的训练效率仅达到理论峰值的70%左右，而H100的8卡效率可达90%以上。这个差距需要靠软件栈优化来弥补。

长期看，16卡托盘的意义在于打破“8卡机架”的行业惯性，推动XPU互连域向更大规模演进。

英伟达主导的HGX机架以8卡为一个基本单元，通过NVSwitch交换机实现多机互联。这种设计成熟，但成本高昂。FuriosaAI的16卡托盘，本质上是试图在单个机架内实现“小规模超节点”，减少跨机架通信的延迟和布线复杂度。如果这一设计被证明可行，可能倒逼其他几家芯片厂商（如AMD、Intel）重新思考自身的服务器架构。

更关键的是，FuriosaAI瞄准的是“第二、三梯队”客户——那些买不起全套英伟达生态、但又渴望高性能AI训练的中型企业和研究机构。16卡托盘可以降低集群部署的复杂性：一个2U托盘就能跑训练，而不需要凑齐8卡机架+交换机。这对初创公司和高校实验室有吸引力。据我了解，目前已有韩国本土的AI制药公司与FuriosaAI接洽，计划在第四季度部署16卡托盘原型机进行测试。

但长期挑战同样严峻：生态兼容性。FuriosaAI的芯片支持PyTorch和TensorFlow，但缺乏CUDA那样的成熟库。16卡托盘需要优化的软件栈，比如分布式训练框架（Horovod、DeepSpeed）的适配，以及模型并行策略的调整。如果FuriosaAI不能提供开箱即用的工具链，16卡托盘很可能沦为“实验室玩具”。

一个值得关注的细节：FuriosaAI与Supermicro的合作并非偶然。Supermicro在模块化服务器设计上经验丰富，其“Building Block Solutions”架构允许客户灵活组合节点。这次16卡托盘很可能采用Supermicro的“SuperBlade”平台，将16个Reon芯片通过双口NVMe桥接，实现内存池化。这种设计路数与英伟达的HGX-2（128卡）思路相似，但成本低一个数量级

原文链接：扩大 XPU 互连域：消息称 FuriosaAI 探索 16 卡服务器托盘设计 - IT之家