AI 安全离开模型，像医院权限系统

过去两年大家聊 AI 安全，总绕不开信哪个模型。闭源、开源、国产、海外，争到最后容易变成模型参数和榜单。但我越来越觉得，这个问法偏了。

真正进入企业流程的 AI，安全边界不该只在模型里面。它能不能读患者信息、能不能调 PACS，接口请求和结果写回才是真正要命的问题。模型输出再像人，只要权限没管好，就是一个会自己跑路的工具。

最近看到 Anthropic 关于 AI Agent 零信任的讨论，说法很直白。真正进入生产环境的 Agent，要受身份、权限、工具网关和审计系统约束，不能只当成一个接了工具的大模型。

这话放在医疗 AI 里特别熟。影像 AI 落地，模型分数之外还有一堆硬问题。临床验证过了吗，医生实际使用反馈能不能接受，结果有没有进入阅片流程，有没有留痕，能不能追溯。一个模型在测试集上再漂亮，到了科室里如果让医生多花两分钟核对，它也很难活下来。

所以 AI 安全从模型离开，说明大家开始承认，模型自律不可靠。更靠谱的是外部控制。谁允许它调用，调用了什么，有没有最小权限，有没有日志，出问题能不能一键停。企业买 AI，买的也不只是一个会回答的系统，还要有可审计、可回滚、能进流程的控制层。

模型能力决定 AI 能不能干活，权限边界决定它有没有资格干活。

AI 安全产品会越来越像医院里的权限、日志和审计系统。无聊，但值钱。