物界前沿物界前沿 · 资讯情报卡（HuggingFace · 2026/11/9）
亚马逊提出HOPE二阶专家剪枝法，MoE模型可删一半专家
核心事实
- 亚马逊研究者提出HOPE方法，按专家两两交互关系决定剪枝对象。
- HOPE属于二阶剪枝，现有方法独立打分专家，忽略专家协作。
- 在50%剪枝率下，HOPE平均排名最优，智能体编程任务最多提升6.1%。
- 以Qwen3.5-122B为例，其48个MoE层每层有256个专家。
- 该模型约250GB参数内存中95%被专家MLP占用，每token每层仅用8个专家。
关键数据
6.1%HOPE智能体编程任务最大提升
50%实验剪枝率
48Qwen3.5-122B MoE层数
256Qwen3.5-122B每层专家数
物界观察
MoE省算力却吃内存，剪枝是现实出路。HOPE把专家协作关系纳入决策，在删掉一半专家时仍保住性能，说明粗放式独立打分已到瓶颈。对部署方而言，这意味着同等显存可跑更大模型，但二阶方法依赖校准数据，落地成本仍需观察。