2.8万亿参数开源，月之暗面K3的工程信号

月之暗面开源Kimi K3，2.8万亿参数模型权重和训练Infra一起放出。这不是一个普通人能跑起来的模型，但月之暗面做了件对的事：把工程细节公开，而不是只丢一个模型。

先看参数规模。2.8万亿，肯定是MoE架构，稠密模型在这个节点上不可能。如果按DeepSeek V3的MoE逻辑，激活参数可能只有几百亿，但总量摆在那里，训练和推理的存储成本是实打实的。换算成FP16，2.8万亿参数，显存需求至少5.6TB，还得算上优化器状态，训练时显存轻松破10TB。光这数字，就说明月之暗面在训练基建上下了血本，HBM3e的带宽和容量都得顶满。

对比一下，DeepSeek V3开源的也是MoE，但参数规模小一个数量级。K3的2.8万亿，更接近一个技术验证标杆，而不是给普通开发者跑的产品。月之暗面开源的意图，不是让大家直接做推理，而是展示他们在训练Infra上的积累。

MoonEP、FlashKDA、AgentEnv这三个技术，是文章真正的重点。FlashKDA，从名字看，应该是FlashAttention的变体，针对MoE的分布式注意力优化。FlashKDA要解决的是MoE模型的稀疏注意力计算，在2.8万亿参数下，跨节点通信的带宽和延迟是关键瓶颈。Mo

原文链接：月之暗面开源 Kimi K3 模型，2.8 万亿参数 - IT之家