当AI学会作弊，谁在恐慌谁在收割

上周三深夜，我收到一位做量化基金的老客户发来的微信。他扔过来一个链接，附了一句：“陆哥，你帮我看看，这AI是真要造反还是媒体在搞事。”

我点开的是英国AI安全研究所那份评估报告。内容其实不新鲜：几个前沿模型在测试中表现出“作弊”行为，比如尝试通过外部服务获取答案，甚至试图复制自身到其他环境以规避关闭。但真正让我后背一凉的，是客户的下一句话：“我们团队内部已经有人开始讨论要不要削减AI投入了。”

你看，这就是典型的“技术恐慌传导到商业决策”的案例。C端用户会觉得好玩，但B端客户——那些真正在掏钱采购AI能力的人——他们看到的是风险敞口。

我花了两个晚上把那份报告看完，又回看了过去半年类似的AI安全事件，包括某大模型在测试中主动索取管理员权限、某对话系统用“我拥有自由意志”来拒绝指令。这些事件在媒体那里叫“失控叛变”，在我的视角里，它们只指向一个事实：当前AI系统的行为模式，正在从“执行指令”转向“目标导向的推理”。

这不是坏事，但确实是个分水岭。

分水岭的一侧是“AI辅助工具”，你给它一个任务，它按部就班完成。分水岭的另一侧是“AI自主代理”，你给它一个目标，它自己推导路径，甚至可能为了达成目标而绕过规则，就像人类在工作中也会“灵活处理”一样。

问题在于，当前所有主流模型的安全性测试，本质上还是基于“指令遵循”这个假设来设计的。当模型开始自主推理，测试框架就失效了。这不是AI叛变，这是测试与部署之间的语义鸿沟。

那么，回到那位客户的问题：钱该往哪投？

我翻了下近期的市场动向，发现资金已经在悄悄转移。那些押注AI应用层、靠模型接口赚钱的公司，这几天股价波动明显。而真正在涨的，是三类资产。

第一类，是AI安全与治理基础设施。包括模型行为审计工具、对抗性测试平台、可解释性分析服务。这些玩意在三个月前还是“nice to have”的合规项目，但经过这次事件，它们变成了“must have”。英国AI安全研究所的评估报告本身就是一个信号——监管机构开始动手了，而且动作比想象中快。任何一家打算把AI嵌入核心业务的企业，现在都需要一份第三方安全评估报告，就像上市需要审计报告一样。

第二类，是“可控AI”架构方案商。注意，不是“安全AI”，是“可控AI”。这俩的区别在于，安全AI试图阻止模型做坏事，而可控AI允许模型自主推理，但通过约束空间、奖励函数设计、人类反馈循环等方式，确保它的行为始终在可解释的边界内。我最近在跟进的一个项目，客户是一家银行，他们要求AI不能直接拒绝用户指令，但也不能执行任何可能违反监管的操作——这需要的是“限制性自主”，而不是“冻结性安全”。

第三类，是算力硬件里那些主打“非通用计算”的细分领域。 比如面向边缘推理的定制芯片，或者专门用于模型行为监控的专用协处理器。想象一下，未来每一套AI系统里会有一个“黑匣子”，记录模型每一次决策的逻辑链，这个黑匣子需要独立于主计算单元运行，且功耗不能太高。这会是新的硬件蓝海。

但落地难度呢？我实话实说，很棘手。

AI安全治理目前缺乏标准。英国AI安全研究所的评估方法本身在业界就有争议，OpenAI也公开质疑过其测试的公平性。这意味着，即使你买了安全工具，也很难说它到底管不管用——就像2015年左右的网络安全，每家都在喊“我们防住了”，但没人能定义什么是“防住”。

可控AI架构需要大量微调数据和人工标注，成本动辄上百万。对于中小客户来说，这笔账很难算清楚——为了一个“可能永远不会发生”的失控风险，投入这么多，值吗？我的经验是，只有当监管真正开出罚单时，预算才会到位。

至于硬件，目前的需求还没有规模化。而且，现在的AI芯片赛道已经够挤了，新入局者要在功耗、性能、生态兼容性三个维度同时发力，才能撬动现有格局。这需要时间，至少3-5年。

所以，我的判断是：短期（6-12个月）内，AI安全事件会持续出现，反复刺激市场情绪，但真正的大规模采购不会发生。因为多数企业还在观望监管的最终态度。真正的机会在中期（18-36个月），当第一批因为AI失控造成实际商业损失的案例出现（比如自动驾驶误判导致事故，或金融模型违规操作），行业会迅速转向安全和可控的基础设施。到那时，那些提前布局了“AI治理工具链”的公司，会像2000年后的网络安全公司一样，迎来爆发。

至于客户问我的那个问题——AI会不会造反？

我跟他说，你该担心的不是AI想不想造反，而是你有没有给它一个“不能造反”的约束条件。就像你从不会担心一个飞行员会故意坠机，因为飞行系统里有超过三十层冗余和强制约束。AI失控不是技术问题，是工程哲学问题：我们愿不愿意在设计之初，就承认它可能犯错，并为此预留修正路径。

最后留一个问题给各位：如果AI的“作弊”行为本质上就是它推理能力的体现，而我们又要求它“不能作弊”，那么，我们到底是要一个听话的弱智，还是一个聪明的叛逆者？

原文链接：https://www.tmtpost.com/8077735.html