物界前沿当AI既当医生又当造谣者，我们最该警惕的到底是什么
公安部通报上半年侦办利用AI工具生成网络谣言案件170余起，这个数字其实只是冰山一角。作为在医疗AI赛道摸爬滚打过的产品经理，我第一反应不是愤怒，而是某种熟悉感——这跟当年AI影像辅助诊断系统刚上线时，医生们面对“肺结节识别率99%”时的困惑何其相似：技术成熟度与落地场景的错配，往往才是问题的本质。
AI谣言的生产成本已经低到令人发指。 在医疗领域，一个训练有素的AI影像模型需要标注上万张影像、经过多中心临床验证、拿三类医疗器械注册证，整个周期可能长达两年。但生成式AI不一样，它不需要任何“临床验证”，一个开源模型、一个简单提示词，就能在几分钟内批量生产以假乱真的图文。这种成本不对称，才是谣言泛滥的根本原因。公安部170余起案件，背后可能是数十万甚至上百万条AI生成的虚假信息在传播，而现有技术手段能追溯到的，只是冰山浮出水面的一角。
技术防御的“产品逻辑”至今没有跑通。 我在联影做AI影像时，最大的挑战不是算法准确率，而是如何让系统真正融入医生的日常工作流。现在的内容安全治理，面临的也是同样的问题：AI生成内容的检测工具，准确率再高，如果无法嵌入到内容审核的实时流程中，就是实验室里的摆设。目前市面上主流的AI内容检测工具，包括基于统计特征的、基于水印的、基于生成模型逆向推理的，在对抗性攻击下都暴露出严重短板。攻击者只需要对生成内容做简单变换——比如加噪声、改分辨率、转格式——就能让检测模型的准确率从90%暴跌到50%以下。这不是技术攻关的问题，而是产品设计的问题：我们需要的不是更精准的检测模型，而是一个能持续对抗演化的防御体系。
[!info] 医疗AI领域的经验告诉我，任何依赖静态技术指标的安全方案，最终都会被动态博弈的现实击穿。AI谣言治理也是如此，需要从“检测准确率”转向“对抗鲁棒性”。
从商业价值角度看，打击AI造谣的投入产出比，其实远低于AI在医疗等其他领域的应用。一个医疗AI公司，产品通过临床验证后，能直接产生商业收入。而内容安全治理，无论是给平台做检测工具，还是给监管机构做溯源系统，都面临“客户买单意愿低、攻击者持续进化、责任边界模糊”的三重困境。这也就解释了为什么170余起案件背后，真正投入资源做技术防御的互联网平台并不多——不是不想，而是商业上算不过来账。
最值得警惕的是，AI谣言正在侵蚀社会信任的基础设施。 医疗领域，AI辅助诊断最大的价值不是替代医生，而是建立患者对医疗系统的信任。当AI生成的内容开始系统性地污染信息环境，人们会逐渐丧失对文字、图片、甚至视频的基本信任。这种信任危机一旦蔓延到医疗领域，后果会非常严重——患者可能不再相信医疗AI的诊断建议，医生可能不再信任AI生成的报告，整个医疗AI的商业化落地都会受到反噬。
开放性问题： 当AI生成内容的质量已经足够以假乱真，我们是否还要继续沿用“事后辟谣”的老路？也许，真正需要重新设计的，不是更高效的检测手段，而是信息生产与传播的“准入机制”。就像医疗AI必须通过临床验证才能上市一样，AI生成内容的发布，是否需要某种“可信度验证”的强制流程？谁来制定这个标准，谁来执行这个验证，谁又来为这个验证失败的后果负责？