英伟达优化Kimi K3推理，同硬件提速1.68倍：有哪些关键信息？

SemiAnalysis称英伟达对vLLM做上游优化，提升Kimi K3推理速度。

Kimi K3参数量为2.8万亿，优化后达423 tok/s/user。

相同GB300 NVL72硬件下，性能相比此前提升1.68倍。

该优化由英伟达CentML工程师Benjamin完成。

优化采用Megakernel融合，内核代码约1.2万行。

物界前沿 · 资讯情报卡（IT之家 · 2026/10/18）

英伟达优化Kimi K3推理，同硬件提速1.68倍

核心事实

关键数据

2.8万亿Kimi K3参数量

423 tok/s/user推理速度

1.68倍性能提升

1.2万行Megakernel代码量

物界观察

这次提速不是换芯片，而是靠内核融合把现有GB300榨出更多吞吐，说明大模型推理的竞争正从硬件堆料转向软件工程。对用户而言，同等算力能服务更多人，推理成本有望下降；对行业，vLLM上游优化正成为英伟达绑定生态的新抓手。