
把一句话变成一次抓取,大小脑系统这么上手
我花了两天试了一下知跃空间智能的机器人大小脑系统。说是试,其实是帮一个做非标自动化的朋友,把他那台六轴臂从只能跑示教点位,推到听懂一句话去抓东西。
先说清楚这东西是什么。机器人的大脑是个多模态大模型,能看画面、能读文字,负责判断该干什么;小脑是底层的运动控制算法,负责怎么动。麻烦在于两者说的不是一种语言,大脑输出的是文字,小脑要的是关节角度和末端位姿。大小脑系统做的,就是中间这层翻译。
这层翻译有损耗。把连续的世界压成一句离散指令,再从小脑那侧展开成轨迹,中间丢掉多少信息,直接决定成功率。
我挑的最小一套流程,一句话进,一次抓取出。下面是从零走通的路径。
1. 建项目,选本体模板。填机械臂型号、相机内参、末端执行器类型(两指夹爪还是吸盘)。看到的是本体配置页,左边设备树,右边参数表。
2. 手眼标定。点 标定 → 手眼标定,把棋盘格在视野里换十五到二十组位姿,盯住 重投影误差。预期在1像素以内。标定我用了两周,坑最多,误差超了先别往下走。
3. 小脑侧注册技能。把抓取拆成接近、闭合、抬起三段,每段给前置条件,比如「夹爪张开且目标在视野内」。
4. 大脑侧写任务。点 任务编排,在描述框里写「把桌上红色料块放进左边盒子」。别写「整理桌面」,太抽象,模型会拆出一堆没法执行的子任务。
5. 点 运行,看 执行日志。日志分两栏,上面是大模型拆出的子任务序列,下面是小脑的执行回执。
| 环节 | 谁负责 | 输出什么 | 出错的样子 |
|---|---|---|---|
| 看画面、理解指令 | 大脑 | 子任务序列 | 拆出无法执行的动作 |
| 算轨迹、控关节 | 小脑 | 位姿与力矩指令 | 抖、撞、抓空 |
第一个坑是坐标系。相机看到的位置和机械臂基座的位置是两套坐标,标定没做对,机器人会稳定地抓偏十厘米,而且每次偏的方向都一样。这种系统性偏差比随机偏差更容易骗人,你会以为是模型不行。
第二个坑是仿真测评。有些方案在大小脑训练阶段就引入仿真评测,指标挺好看,上真机就掉。差别主要在光照和材质,仿真的塑料块反光和真料块不是一回事。
第三个坑是任务描述。我第一版写「拿起料块」,模型拆了六步,其中两步是「确认料块可抓」,纯废话。把颜色、位置、终点都写死,子任务立刻短下来。
效果我这边测下来,不透明料块十个能成八个;换透明杯子掉到一半以下,VLM 对透明和高反物体本来就吃力。换人换灯要重标一次,这点跟我之前写迎宾握手那篇的判断一样,当时是质疑,现在是确认。
这套跑通之后,我打算再试两件事。一是加第二类物体,看泛化边界到底在哪;二是把示教数据回流,我用 EgoSuite 采了一个月的数据,格式对齐之后能直接喂给大脑侧做微调。
物界前沿