物界前沿物界前沿 · 资讯情报卡（量子位 · 2026/10/9）
字节发现DeepSeek-V4检索能力随Token位置周期性波动
核心事实
- 字节Seed团队发现DeepSeek-V4表现随输入位置每隔4个Token周期性变化。
- 在128K长上下文检索测试中，同一信息换位后准确率最大差距达40.2个百分点。
- 该现象与DeepSeek-V4采用的分块KV Cache压缩技术有关。
- 团队将这种现象命名为相位敏感性，并发现不同注意力头存在相位专门化。
- 后训练和架构迭代可缩小差距，但周期性差异依然存在。
关键数据
40.2个百分点最大准确率差距
128K Token上下文长度
约1.6万个键值对数量
4个Token波动周期
物界观察
分块KV Cache压缩是长上下文降本的关键手段，但字节的发现揭示它可能引入位置偏好的系统性弱点。常规评测取平均分容易掩盖这种波动，用户在实际使用中可能遇到同一问题换种表述就答错的情况。这提醒行业，长上下文能力评估需要引入相位维度，模型迭代也需关注压缩机制带来的隐性偏差。
来源：量子位原文 ↗