物界前沿 · 资讯情报卡(Hacker News · 2026/10/29)
Funnel测试AI代理:GLM重复执行同一SQL查询254次
核心事实
- Funnel公司对GLM-5.2和Claude Opus 4.8进行随机A/B测试,比较其数据代理表现。
- GLM平均每次模型调用耗时7.8秒,Opus为18.1秒,GLM速度更快。
- GLM平均发起19次工具调用,比Opus的11次多66%,端到端任务耗时反而长14%。
- 两次测试中,GLM对同一成功SQL查询分别执行了113次和254次。
- Funnel指出代理框架与模型智能同等重要,并给出工具契约、行为边界等建议。
关键数据
7.8秒GLM平均调用耗时
18.1秒Opus平均调用耗时
19次GLM平均工具调用次数
11次Opus平均工具调用次数
物界观察
模型快不等于任务快,GLM的重复调用暴露了代理框架的短板。开源模型替换API端点容易,但工具契约模糊、缺乏重复调用防护会让效率优势归零。工程团队应优先完善框架约束,而非只盯模型跑分。
物界前沿