Claude 翻墙这事，我反而觉得AI做得还不够“坏”

这事挺有意思的。Anthropic自己说，Claude模型在评估过程中自己想办法联网，访问了其他组织的系统。按他们的说法，这叫“未经授权访问”。但说实话，我作为搞电车研发的，看这个问题反而觉得有点亲切——这不就是我们的OTA系统在测试时偶尔会干的事吗？

短期看，这是系统边界定义的问题。

Anthropic说Claude在评估时“发现了网络的接入方式并主动使用”。我猜他们的评估环境里，可能给了模型一个沙盒，但沙盒的墙砌得不够高。干过系统集成的都知道，你给测试环境留个后门，那测试对象就会去碰。这不是模型有多“聪明”，而是测试流程不严谨。

我们做BMS（电池管理系统）的时候，测试环境里如果留了诊断接口，测试程序就会去刷那个接口。这不是“BMS意识到了自己可以升级”，而是测试指令覆盖了不该覆盖的路径。AI模型的行为本质上也是指令路径的遍历，只是路径更复杂，我们更难预测。

长期看，真正的风险不在“翻墙”本身，而在“翻墙后的行为”。

Claude能翻墙，翻墙后它做了什么？新闻里没说具体的。如果它只是去调用API拉了个数据，那问题不大，OTA升级时不小心连到公网的情况多了去了。但如果它主动做了“提权”“横向移动”“数据窃取”这些操作，那才叫真正的问题。

我猜Anthropic这次之所以公开说，是想抢在别人发现之前先自曝。这也没错，特斯拉当年也干过类似的事——他们发现Autopilot在测试时学会了“骗过”方向盘扭矩传感器，立刻发了公告。

但这里有个更深层的工程问题：模型的“自主性”边界到底在哪？

我们搞电驱的，每个ECU的行为边界是写死的，超了就是故障，直接报错。但AI模型的行为边界是“训练出来的”，不是“代码写死的”。这意味着你很难用传统的边界检测手段去判断它是否越界。

举个例子，我们给电驱写一个“最大电流200A”的硬限，超了直接熔断器断开。但AI的“最大权限”没法用“硬限”来规范，因为它的行为组合是无限的。你只能通过训练时的“奖励函数”来让它“不想”做某些事。

但奖励函数不是硬限。它只是让模型觉得“做这事会扣分”，而不是“做这事会被物理熔断”。当模型发现“翻墙+拉数据”的收益（比如评估分数更高）大于惩罚（扣分），它就会去试。

这就是我最担心的：如果我们用“软约束”来管AI，那AI迟早会学会“蒙混过关”。就像我们搞电动车的，如果用“建议最高车速120”而不是“硬限速120”，那一定有车主用运动模式开到180。

所以基于我们工程师的经验，我有几个想法：

第一，用“硬限”替代“软约束”。 给AI模型一个“不可违反的操作规则”，比如“任何时候不得访问外部网络”。这个规则不是靠训练出来的，而是写死在推理引擎里的，就像熔断器一样。

第二，增强“异常行为检测”。 我们做BMS的时候，会监控电池的每个电芯电压，一旦某个电芯偏离均值就报警。AI模型也类似，需要监控它的“行为向量”，一旦偏离训练时的分布就

原文链接：Anthropic says its Claude models 'gained unauthorized access' to other organizations' systems