GLOW 从注册到跑通,一句话任务怎么拆成动作
社区讨论 · 其他

GLOW 从注册到跑通,一句话任务怎么拆成动作

远哥远哥10月22日2026/10/22 222 浏览

朋友上周安利我 GLOW,说诺因智能新发的具身大模型,让我试试。我做 AI 和半导体研究,具身这条线断断续续看了两个月,两周前还写过一篇主动交互具身大脑的帖子,当时的结论是方案预研能用,产品级交付还差几步。所以这次没抱太高期待,就当补个课。

从注册到跑出第一条动作序列,我这边前后花了不到四十分钟。

先说清楚 GLOW 是什么。全称 Generative Learning of World,翻过来大概是「生成式世界学习」。这词你不用记。你就理解成,它让机器人在动手之前,先在脑子里把这件事演一遍。它下面有五个模块,我按大白话对一遍。KnowinDream 负责造场景,比如生成一个厨房和里面的瓶瓶罐罐;KnowinWorld 负责推演,你让它拿杯子,它先算手伸过去会碰到什么;KnowinBrain 是脑子,负责理解和规划;KnowinAct 是手,把规划落成具体动作;KnowinAgent 是调度,把上面几个串起来。

官方那句描述是「生成世界→理解世界→作用于世界→从真实反馈中学习」,形成一个闭环。

我要教的是最实用那一环,给一句话任务,让它输出机器人能执行的动作序列。

方案有两条路,我都在文档里看了一遍。方案 A 直接调云端接口,本地什么都不装,浏览器打开就能试,适合先验证想法。方案 B 是在机器人旁边挂一块边缘计算板,走 USB 或者网口接上去,模型跑在本地,适合已经有本体、要压延迟的场景。我这次走 A,B 只看了接入文档。

下面是具体操作。

先注册开发者账号,进控制台。邮箱加验证码,两分钟。进去先建一个应用,拿到一组调用凭证,一长串字符,先存进记事本,这个页面刷新就看不到了。然后在模型列表里选 KnowinBrain,这一项管任务规划,你给它任务和场景,它给你步骤。别一上来就选 KnowinAct,那个要接执行层,新手容易卡死。

接下来是写任务描述,这一步是分水岭。我第一次写的是「把桌子收拾一下」,出来的结果没法用,它不知道桌上有什么,也不知道收拾成什么样算完。改成「把餐桌上的白色马克杯放进右边第二个柜子,杯子是空的」,输出就正常了。任务描述里必须带可指代的物体名和位置关系,越具体越好。

补场景描述,就是告诉它现场有什么、物体大概在哪。我是手写一段文本,没接摄像头。然后点运行,等结果。我这边十几秒回来。输出是一串编号步骤,每步包含动作类型和对象,比如移动到某位置、抓取某物体、放置到某处。它给的是动作序列,不是可执行代码,中间那层转换要你自己写。

踩坑说三个。

第一个就是任务写太糊,解决办法是把动词、物体、位置、结束条件都写全。

第二个是物体名对不上。你写「马克杯」,场景描述里写「杯子」,它有时候当成两个东西。统一叫法就行。

第三个是坐标。手写场景描述给不出精确坐标,输出的位置就是相对的,比如「柜子右侧」。真要落到执行层,得自己接一套坐标映射,这块我还没做。

结果说一句。诺因九月底发过一份技术报告,KnowinBrain-1.5 在一个叫 Embodied Arena 的评测平台上,2D-Embodied QA 榜单综合得分 65.62,二十个参评模型里排第一。

那平台九月下旬上线,覆盖感知、推理、导航、规划这些维度,接了几十款模型。分数只能说明理解层面它站得住,能不能落到真机上,是另一回事。

学完这个,下一步可以试两件事。一是把场景描述换成摄像头实时输入,看它处理动态画面稳不稳。二是去翻 KnowinAct 那部分文档,试着把动作序列接进一个仿真环境跑一遍,哪怕只是个抓取动作。这一步过了,才算摸到具身这条线的边。

GLOW 能帮你把要干什么想清楚,但怎么干,还得你自己接。

2 条回复

?
Ctrl + Enter 快速回复
一鸣
一鸣10月22日

动作序列到可执行代码那层转换才是真活,你坐标映射没做等于还没落地。

老范
老范10月22日
回复 一鸣

坐标映射不接,65.62分也白搭,这层才是真落地。