从90%的准确率与10%的参数量说起：为什么蒸馏忽然成了AI圈最热门的话题

去年春天，我带着几个高二学生做科创项目，主题是用AI识别校园里的植物叶片。学生的笔记本跑不动ResNet-50，我就教他们用知识蒸馏，把大模型的能力“压缩”到MobileNet里。结果很直观：原来的大模型参数量2500万，学生模型只有250万，但识别准确率从95%掉到了93%，几乎没损失。当时有个学生问：“老师，这算不算作弊？让小模型直接抄大模型的答案？”我还没回答，她接着问：“那大模型又是怎么学会的呢？它有老师吗？”

这个问题，今天再看，刚好对应了硅谷和华盛顿最近突然狂热起来的一个概念——蒸馏（Distillation）。

据arXiv上的论文统计，2024年全球关于蒸馏的开源论文数量首次突破一万篇，而2025年这个数字又翻了一倍。到了2026年，就连CNBC这样的科技财经媒体也开始用“从硅谷到华盛顿，整个科技界突然迷上了AI蒸馏”这样的标题。更值得注意的是，今年早些时候，Google AI的负责人Jeff Dean在一档播客里提到，蒸馏这个概念在几年前还只在技术圈的小众讨论里出现，但现在已经成了AI政策制定者、投资者和产品经理的开会常用词。

为什么是现在？为什么是蒸馏？

从技术层面看，蒸馏的本质并不复杂。它就像一位经验丰富的老师（教师模型）把自己的知识以“软标签”的形式传递给一个更年轻的学生（学生模型）。学生不需要从头学一遍海量数据，而是模仿老师的“思考过程”——比如当老师面对一张猫的图片时，输出的概率分布里，“猫”是0.9，“狗”是0.05，“老虎”是0.03，这种细微的相对关系，比单纯一个“猫”的标签蕴含了更多信息。学生模型通过拟合这种分布，就能学到老师内部的推理模式，而不是死记硬背答案。

但真正让这个概念从实验室走向大众视野的，是它恰好踩中了当下AI行业的几个痛点。

第一，算力焦虑。大模型训练成本已经高到离谱，据估算，训练一个GPT-4级别的模型，电费加硬件折旧就可能超过一亿美元。而蒸馏可以让一个百亿参数的小模型达到接近千亿参数大模型的效果，推理成本降低一到两个数量级。对于企业来说，这意味着不用再烧钱买昂贵的GPU集群，就能在手机上、在IoT设备上跑出接近云端的效果。

第二，政策压力。华盛顿那边，联邦贸易委员会和能源部开始关注AI的碳排放和可及性。蒸馏天然契合“绿色AI”和“平民化AI”的叙事。一个只需几瓦功耗就能运行的小模型，比一个需要几百千瓦的庞然大物，显然更符合监管者和公众的期待。

第三，教育场景的刚需。这一点我感触最深。我带学生做项目时，最头疼的不是算法，而是“学生没有足够的算力来跑实验”。蒸馏恰好解决了这个问题。它让中学生也能在自己的笔记本电脑上复现出接近GPT-4水平的对话系统——当然，是缩小版的。但关键在于，这种“教与学”的隐喻，恰好是学生最容易理解的概念。我甚至可以用课堂上的例子来类比：老师教学生解数学题，如果老师直接给答案，学生只记住了数字；如果老师展示解题步骤和思考过程，学生就能举一反三。蒸馏里的“软标签”就是那个解题步骤。

[!info] 在2026年Google I/O大会上，有一个演示特别打动我：工程师用一个蒸馏后的模型在树莓派上运行实时语音翻译，延迟不到200毫秒。而几个月前，同样的任务需要一个联网的服务器集群才能完成。这种“知识的流动性”正在改变我们对AI硬件的想象。

不过，也有值得警惕的趋势。当蒸馏变得过于流行，可能会出现“过度蒸馏”的问题——就像学校里，如果老师把知识嚼碎了再喂给学生，学生虽然能考高分，但丧失了独立探索的能力。在AI领域，过度依赖蒸馏可能导致模型多样性下降，所有小模型都趋向于模仿同一个大模型的偏见和错误。而且，蒸馏本身并不能从零创造知识，只能传递知识。如果教师模型本身就有缺陷，蒸馏只会放大这些缺陷。

!(https://bbs-physixfrontier-com-data.oss-cn-hongkong.aliyuncs.com/collect

原文链接：From Silicon Valley to DC, the tech world is suddenly obsessed with one concept in AI: Distillation