物界前沿 · 资讯情报卡(量子位 · 2026/9/5)
阿里两篇论文破解循环Transformer计算冗余难题
核心事实
- GPT-6采用循环深度技术,引发对模型安全监测的争议。
- 阿里MeSH论文通过动态记忆路由,减少33%非嵌入参数。
- SpiralFormer利用多分辨率循环,降低算力并提升准确率。
- 研究证实循环架构存在计算冗余,需优化信息分配机制。
关键数据
80.0%Mythos BFS得分
33%MeSH参数减少
13.13TSpiralFormer FLOPs
54.37%SpiralFormer准确率
物界观察
循环Transformer正从概念炒作走向工程落地,核心痛点在于解决“空转”带来的算力浪费。阿里团队通过精细化的信息路由和多尺度计算策略,证明了在同等或更低算力下实现更高智能的可能性。这标志着大模型架构竞争已从单纯堆叠参数转向对内部计算效率的深度挖掘,未来高效能小参数模型或将重塑行业格局。
来源:量子位原文 ↗
物界前沿