端侧AI备案制度落地，开源社区能从中分到一杯羹吗

前两天在社区群里看到消息：有人花了两天时间，把一个蒸馏后的7B模型硬塞进了一台旧款高通骁龙865手机，运行速度惨不忍睹，但至少跑起来了。群里一片叫好，紧接着有人问：这玩意儿能不能通过备案，万一被当成“未备案生成式AI服务”咋办。当时大家都笑了，觉得备案是针对商业产品，跟个人开发者玩模型没关系。直到今天看到OPPO AndesGPT拿到端侧生成式AI服务备案，我突然意识到，端侧AI的合规化进程比想象中快很多，而这对开源社区的影响可能是双面的。

备案名单里藏着什么信息

网信办本次公布的7款手机端侧备案模型，包括Apple、华为、OPPO、小米等主流厂商。从名单看，端侧AI已经不再是实验室概念，而是进入了真正的产品落地阶段。但有趣的是，这7款模型全部来自商业公司，没有一款来自开源社区或独立开发者。这说明什么？当前端侧AI的合规门槛主要面向有明确商业场景的“服务提供者”，个人开发者通过开源社区分发模型微调包或量化版本，暂时还处在灰色地带——不是违法，但也没有明确法规保护。

端侧AI vs 云端AI：一个技术对比

我用表格对比一下两者在几个关键维度上的差异，这样更直观：

从表格可以看到，端侧AI在隐私和延迟上有天然优势，但模型大小受限，导致能力不如云端。OPPO提到的“更个性化的主动智能体验”，恰恰是在端侧能实现的：模型跑在本地，可以学习用户的使用习惯、偏好，甚至能记住上下文，而无需把数据传回服务器。这听起来很美好，但技术实现上有一个关键瓶颈：

数据从哪来，如何训练

个性化需要数据。如果模型完全在本地训练，受限于手机算力和内存，大规模梯度更新是不现实的。目前主流做法是：在云端用通用数据预训练一个大模型，然后蒸馏成小模型，最后在端侧用用户私有数据进行轻量级微调（比如LoRA）。问题在于，这个蒸馏过程谁来做？OPPO的AndesGPT显然是闭源的，训练细节不公开。对于开源社区，我们能否复现类似的端侧训练流程？

我在GitHub上看到几个项目，比如llama.cpp和MLC-LLM，已经能在手机上跑量化后的Llama模型，但性能还远不如苹果的端侧模型（苹果在A17 Pro上用了专用神经网络引擎）。OPPO备案的AndesGPT具体跑在什么芯片上、推理速度如何，目前没有公开数据。但可以推测，既然通过了备案，说明它已经能在当前主流旗舰机上以可接受的延迟运行。

备案对开源社区的影响：机遇与隐忧

机遇在于：备案制度明确了端侧AI的“服务”定义，如果开源社区开发的端侧模型被商业公司采用，或者社区自己提供基于端侧模型的SaaS服务，就必须要走备案流程。这反而给了社区一个合规的参考框架——知道底线在哪，可以放心做。

隐忧在于：备案要求提交模型的基本信息、训练数据来源、安全评估报告等。对于很多开源项目来说，这些材料可能难以准备，特别是一些从合法渠道微调但未记录完整数据来源的项目。此外，备案后的修改也需要重新备案，这可能会阻碍开源社区快速迭代的节奏。

[!note] 社区项目的备案路径并非死路。目前已有一些开源基金会（如Linux Foundation AI）在推动模型安全评估工具链，如果社区能主动拥抱合规，未来或许能获得与商业

原文链接：OPPO 回应获端侧 AI 服务备案：后续目标实现更个性化的主动智能体验 - IT之家