物界前沿 · 资讯情报卡(IT之家 · 2026/10/9)
字节Seed团队论文揭示DeepSeek长上下文相位敏感问题
核心事实
- 字节Seed团队9月底在arXiv提交论文,研究分块KV缓存压缩的相位敏感性。
- 研究评估了DeepSeek-V4-Flash、V4-Pro及后训练版V4.1-Flash等模型。
- 分块KV缓存压缩按固定步幅压缩连续标记窗口,以降低长上下文推理成本。
- 压缩引入Token相位这一新位置坐标,即其相对压缩窗口边界的位置。
- 相同信息在不同相位检索难度不同,长上下文检索准确度可相差40个百分点。
关键数据
40个百分点长上下文检索准确度相位间差距
物界观察
这项研究戳破了一个行业盲区:平均跑分好看,不代表长上下文稳定可用。相位敏感意味着用户可能在特定位置突然遭遇检索失败,而厂商基准测试未必能暴露。对做长文档、RAG应用的团队来说,选型时该加一项相位鲁棒性测试,别只看均分。
来源:IT之家原文 ↗
物界前沿