动作做出来了，不等于这件事做对了

操作智能这类具身大模型，现在最尴尬的地方不在手上，在账本上。动作能不能做出来，公开演示里都看得到；但你怎么证明它在你的场景里做对了，这事没人给你答案。

我这边用了一个月，跑的是自己的一批抓取任务。测试集上成功率看着挺体面，换一批物料、换个工位光照，数值就往下走。

掉多少我不敢说死。方向很明确，就是往下掉。这跟我做反欺诈时碰到的一模一样。模型在历史样本上指标漂亮，黑产换个手法，规则覆盖度立刻露底。模型本身没变笨。评测集从来没覆盖过那条路径，到了陌生样本上，表现自然就掉。

问题出在口径。它把「抓起来了」和「抓对了」记成一档，中间那些歪着夹住、掉一半又接住的，全算成功。你拿这个数字去汇报，等于把欺诈单和正常单并表算通过率，误报率根本归不了因。

比起动作库，具身模型眼下更该补的是分层的结果定义。哪一档算成功，哪一档算失败但可恢复，哪一档是硬失败，得先钉死，再谈能力上限。否则演示越顺，落地越心虚。

我上周写 ev¹ 那篇也提过类似的事，先教它认一条常走的路，比让它什么路都试一遍有用。具身这行大概也是这个理。

你们那边评具身模型，是按任务成功率算，还是按可恢复失败率算？