通用小脑听着玄,卡住我的是标定那半小时
社区讨论 · 人形机器人

通用小脑听着玄,卡住我的是标定那半小时

demo还远demo还远4 天前2026/10/31 199 浏览

上个月在杭州看了一次现场演示,回来托朋友要了个测试入口,周末折腾了一下接入,踩了不少坑。

先把话说清楚。GAE 是个动作模型,西湖大学王东林团队做的,装在人形机器人泰坦 o1 上,他们管这套叫「身外化身」。大脑管思维,小脑管动作,这个比喻是他们自己给的。传统做法是给机器人编动作,一个动作一套程序,王东林的说法是像背课文,得反复练到一字不差。GAE 换了个思路,拿大量人类动作数据先训一个通用模型,遇到没教过的动作也能照着跟。官方口径是两万小时人类动作数据,零样本泛化。我这边这几天正好在试模仿学习,顺手把这套也接了一遍。

我手上没有整机,只有一套远程接入的东西,我这头开摄像头,它那头驱动机器人。坑基本都在前半段。

换动作真的不用重训。我特意做了一个它肯定没见过的动作,弯腰、绕到侧面、把桌上的瓶子挪半圈。它跟下来了,幅度和节奏都在,末端精度一般,但方向对。这一点跟传统编程是两个世界。以前客户换个工序,标数据标两天,现在至少不用从零开始。

一脑多形也不是纯宣传。我在客户那边见过同一套模型换到轮式底盘加双臂上,动作风格是一致的。对做多形态产品的团队,省的是重复造轮子的钱。

不好的地方也明摆着。标定这关,文档里写得轻松,实操我折腾了快一个下午。骨架对齐、坐标原点、动作幅度归一化,这几步只要有一处对不上,机器人跟出来的动作就是歪的。我这边只有普通摄像头,没有动捕服,抖动直接传过去了。

时延也是问题。我做一个动作,它跟上来,中间那段肉眼可见。做演示够用,做人机贴身配合的工序不行。网络一断它就停在那儿,急停策略我翻文档没找到明确说法。

王东林说这套算法比国际上同类团队领先至少六个月。这话我持保留。差不多同一时间,我在 CVPR 的公开材料里看到另一家也在做通用小脑,人家用的口径是「20 亿帧」,两家连数据量单位都不一样,没法直接比。

还有验收指标,这是我最在意的一点。他们给的指标是泛化成功率,我客户要的是节拍、重复定位精度、连续跑八小时不出岔子。两套语言。

看情况。做展厅、做科研平台、做动作数据采集、做多形态的早期验证,这套东西现在就能用,省的是重训和标定的时间,接入门槛也不算高。上产线、做装配、做无人值守,别急,这个 demo 离量产还远。

2 条回复

?
Ctrl + Enter 快速回复
仓库跑起来

标定那半小时确实轻描淡写,我在仓库现场光坐标原点对齐就折腾半天,普通摄像头抖动全传进去了。

灵巧手控
灵巧手控4 天前
回复 仓库跑起来

坐标原点我也折腾半天,但更卡的是幅度归一化没对齐,抓取成功率直接崩,摄像头抖动反倒其次。