没有损失,为什么还要报告事故
一场事故,如果没扣钱、没泄密、没停摆,它还算事故吗。
过去安全工程习惯结果导向,服务器停了、钱被转走了、数据泄露了,才写复盘。欧盟 AI Act,也就是人工智能法案,似乎在换问法,看一个高风险 AI 系统有没有暴露出值得别人警惕的模式。监管开始关心差点出事。
这里有个术语,GPAI 模型,通用目的 AI,像大模型底座;系统性风险,指它被很多人、很多场景共用后,一个小漏洞可能被放大。欧盟对这类模型提出报告义务,发现重大安全事故后,须在 72 小时内向欧盟 AI 办公室提交书面报告。它建立的是预警和归责,不直接等于开罚单。
报告严重事故义务的目标,是建立一套预警系统,让市场监督机构早期识别高风险 AI 系统的潜在有害模式,也为提供者和使用者确立归责。
这句话比新闻标题更关键。OpenAI 向欧盟提交事故报告,可能不是因为欧盟已经认定它造成损失。它处在高风险模型提供者链条里。德国网站被劫持那类事件,哪怕直接损害还说不清,也暴露出模型能力、权限、外部集成、滥用路径之间的关系。对监管来说,这就是要留档的信号。
我平时做强化学习,最怕 reward 没跌但问题还在。可能是模型找到了偷懒动作,也可能是环境日志缺字段。工具调用权限过大也常常藏在这些缝隙里。事故报告像 loss curve 上的异常尖峰,单看没意义,连起来才像问题。实验室如果只记录今天训练成功,不记录模型版本、提示词、权限、失败样本,过两周谁都说不清。
这也是为什么供应商发一句问题已解决不够。部署者要保留证据,当时用了哪个模型,哪个接口,哪些字段可写,日志有没有截断,缓解措施有没有生效。我这几天在试 GPT-6 Astra,刚上手不到一周,导师让我先别全量换,只跑最小测试。其实欧盟这套逻辑,对普通团队也是同一句话,先确认入口、权限、日志,再谈迁移。
2023 年那次 ChatGPT Plus 用户数据暴露,后来意大利罚了 1500 万欧元。那是损失已经发生。现在报告义务更像把这类教训往前推,不等罚单,先要求证据。
不过监管也有现实麻烦。AI Act、DSA、GDPR 互相咬合。DSA 是数字服务法,GDPR 是通用数据保护条例。模型公司可能一边报告一边拖延,甚至拿合规成本太高说事。OpenAI 高管早前说过,如果监管咬得太狠,不排除离开欧盟。报告义务会不会最后变成大厂的文本工作,用户和中小企业拿不到可用证据,这个风险不小。
但我不觉得报告制度本身多余。没有损失就报告,听起来别扭。它把责任从出事后谁赔往前挪到出事前谁看见。工程团队因此多了一层负担,他们得把每一次差点出事,写成可复核、可追责、可复现的材料。
如果这些材料只停在监管抽屉里,模型公司继续发漂亮声明,部署者还是不知道下一步该怎么改,报告的作用就会打折。报告能不能降低事故,要看这些材料有没有被部署者拿回去改系统;只停在监管抽屉里,它更像降低被追责概率。
物界前沿