社区讨论 · 公司观察
AGI末日叙事,听着像没做权限设计
硅谷现在一说AGI,就爱讲统一人类或灭绝人类,像评审会上只讲愿景不讲回滚。我反而觉得李飞飞那句“AGI是营销术语”更像一个做过系统的人说的话。
从架构角度看,这类叙事扩展性有问题。把模型当主角,风险就会被无限放大,最后变成不可验证的东西。李飞飞不太吃这套,因为她一直在讲数据和场景。当年ImageNet时代,她说瓶颈不在模型在数据;现在她又把世界模型放在更靠后的位置,认为空间智能才是缺的那块。这更像是在给系统找地基。
我这边看推荐系统的反馈链路,也常碰到模型离线跑分很亮,上线照样翻车。原因通常不玄学。样本分布变了,特征权限没管住,日志没审计,反馈链路一断,线上就开始胡说。这几天试Claude,我更在意执行环境。尤其让AI自己读文件、发请求,沙箱和白名单比提示词更可靠。
李飞飞当然懂风险。她更担心少数人握着算力、数据和方向,再用末日叙事把讨论空间压掉。公众不安也来自权力集中。
边界比模型本身更关键。一个系统如果连输入、权限、审计、回滚都说不清,它喊AGI,更像是在拉估值。
物界前沿