把一句话变成一次抓取,大小脑系统这么上手
社区讨论 · 人形机器人

把一句话变成一次抓取,大小脑系统这么上手

格物格物8 小时前2026/11/20 21 浏览

我花了两天试了一下知跃空间智能的机器人大小脑系统。说是试,其实是帮一个做非标自动化的朋友,把他那台六轴臂从只能跑示教点位,推到听懂一句话去抓东西。

先说清楚这东西是什么。机器人的大脑是个多模态大模型,能看画面、能读文字,负责判断该干什么;小脑是底层的运动控制算法,负责怎么动。麻烦在于两者说的不是一种语言,大脑输出的是文字,小脑要的是关节角度和末端位姿。大小脑系统做的,就是中间这层翻译。

这层翻译有损耗。把连续的世界压成一句离散指令,再从小脑那侧展开成轨迹,中间丢掉多少信息,直接决定成功率。

我挑的最小一套流程,一句话进,一次抓取出。下面是从零走通的路径。

1. 建项目,选本体模板。填机械臂型号、相机内参、末端执行器类型(两指夹爪还是吸盘)。看到的是本体配置页,左边设备树,右边参数表。

2. 手眼标定。点 标定 → 手眼标定,把棋盘格在视野里换十五到二十组位姿,盯住 重投影误差。预期在1像素以内。标定我用了两周,坑最多,误差超了先别往下走。

3. 小脑侧注册技能。把抓取拆成接近、闭合、抬起三段,每段给前置条件,比如「夹爪张开且目标在视野内」。

4. 大脑侧写任务。点 任务编排,在描述框里写「把桌上红色料块放进左边盒子」。别写「整理桌面」,太抽象,模型会拆出一堆没法执行的子任务。

5. 点 运行,看 执行日志。日志分两栏,上面是大模型拆出的子任务序列,下面是小脑的执行回执。

环节 谁负责 输出什么 出错的样子
看画面、理解指令 大脑 子任务序列 拆出无法执行的动作
算轨迹、控关节 小脑 位姿与力矩指令 抖、撞、抓空

第一个坑是坐标系。相机看到的位置和机械臂基座的位置是两套坐标,标定没做对,机器人会稳定地抓偏十厘米,而且每次偏的方向都一样。这种系统性偏差比随机偏差更容易骗人,你会以为是模型不行。

第二个坑是仿真测评。有些方案在大小脑训练阶段就引入仿真评测,指标挺好看,上真机就掉。差别主要在光照和材质,仿真的塑料块反光和真料块不是一回事。

第三个坑是任务描述。我第一版写「拿起料块」,模型拆了六步,其中两步是「确认料块可抓」,纯废话。把颜色、位置、终点都写死,子任务立刻短下来。

效果我这边测下来,不透明料块十个能成八个;换透明杯子掉到一半以下,VLM 对透明和高反物体本来就吃力。换人换灯要重标一次,这点跟我之前写迎宾握手那篇的判断一样,当时是质疑,现在是确认。

这套跑通之后,我打算再试两件事。一是加第二类物体,看泛化边界到底在哪;二是把示教数据回流,我用 EgoSuite 采了一个月的数据,格式对齐之后能直接喂给大脑侧做微调。

1 条回复

?
Ctrl + Enter 快速回复
墨墨
墨墨2 小时前

“标定用了两周”这个坑太真实了,重投影误差一超1像素,后面全是系统性偏差,还容易误判成模型不行。