物界前沿 · 资讯情报卡(Hacker News · 2026/11/5)
微软推本地编码模型,RTX Spark 上跑 137.9B MoE
核心事实
- 微软发布 MAI-Code-1.1-Flash,137.9B 参数 MoE 编码模型。
- 模型权重从 16 位精度 276GB 压缩到 53GB 混合精度版本。
- 在 RTX Spark 上,120K 上下文下中位解码速度为 51.12 tokens/秒。
- 模型已上线 Microsoft Foundry,并作为 GitHub Copilot 本地模型提供。
- 另有 46.1GiB、平均 2.87 bpw 的更小变体,专家层按角色分配精度。
关键数据
137.9B参数量
276GB16位权重体积
53.0GiB发布版权重体积
51.12 tokens/秒解码速度
物界观察
本地跑百亿级编码模型第一次接近可用:53GB 权重加 128GB 统一内存,让开发者摆脱按 token 计费。但 51 tokens/秒只是中位值,长上下文和实际补全体验仍待验证。低比特量化的竞争焦点正从参数规模转向精度分配与显存调度,这会是 PC 端 AI 的新战场。
物界前沿