想训具身模型，先把第一视角数据跑通

我花了两天试了一下 EgoSuite 的公开试用包，想先搞清楚这批第一视角人类数据到底长什么样，拿到手之后第一步该干什么。

先说为什么值得花这两天。机器人基础模型这两年参数越堆越大，但一直撞在同一面墙上，缺的是足够多、足够杂的人类操作数据。光轮智能 8 月在 WRC 上开源了 EgoSuite-Open100K，十万小时量级，首批放出一万小时，覆盖 7 大类环境、128 类场景类型，一万五千多个采集场景和任务。数字很好看，问题是，新手直接去下正式仓库，大概率第一天就卡死。

所以这篇教的是试用包那条路。

	EgoSuite-Open100K	EgoDemo
总量	十万小时	五十小时
当前可用	首批一万小时	全部可用
定位	正式仓库	评估、管线集成、可视化

先搞清楚你要下的是哪个包。正式仓库旁边有个 EgoDemo，五十小时头部及头腕双视角样本，官方明确说不计入数据集总时长，就是给你试水的。第一次上手只碰这个。

术语先解释三个。第一视角，就是摄像头戴在人头上，画面里是自己的手在干活，不是站旁边的旁观视角。位姿，就是手和身体在空间里的位置加朝向。语义标注，就是这段动作被写成人能读的标签，比如「拿起杯子」。

1. 环境准备。一台能装 Python 的机器，留出几十 G 硬盘。MCAP 是这批数据的主要容器格式，你可以把它理解成一个按时间戳把多路信号打包在一起的盒子，头部视频、腕部视频、位姿和语义各走各的轨道，靠时间戳对齐。

2. 去 Hugging Face 或 AtomGit 搜 EgoSuite，找到 EgoDemo 仓库。先别急着下，把 Dataset Card 从头读一遍。

3. 读 Card 的时候盯两件事，一是许可证条款，二是溯源字段。每条记录都带来源信息，用的时候不能删。我见过有人图省事把整列删掉，后面数据没法追责。

4. 下载。建议先只拉几条片段，别一次全下。我这边下到一半断过一次，重新拉比想象中费时间。

5. 加载。照 Card 里的示例跑一遍，把 MCAP 读进来，确认视频、位姿、语义几路的时间戳能对上。

6. 可视化。想快速看效果，可以用 FiftyOne 那套；社区里也有人基于 Rerun 写了个目录查看器，能搜索、排序、过滤片段，下载单条再逐帧检查。

跑通之后你会看到什么。左边一列头部视角，右边一列腕部视角，同一条动作在两个视角下同步播放，下面挂着位姿曲线和语义标签。这时候你对一条数据长什么样就有直觉了，比看任何说明文档都快。

踩坑主要集中在一处，只下视频、不下位姿和标注。很多人把第一视角数据当普通视频集用，结果发现训练时没有监督信号。这批数据的价值恰恰在位姿加语义这一层，视频只是载体。第二个坑是拿 EgoDemo 去对外报规模，它是试用包，引用口径和正式仓库不一样，这个 Card 里写得很清楚。

官方在 Hub 上写得很直白，希望这批数据被真正用起来，也想知道它在实践中表现如何，发现短板就去开 discussion。

学完这个，下一步可以试什么。别急着训模型，先拿 FiftyOne 做一次子集筛选，比如只挑厨房场景、只挑双手操作的任务，看看类别分布是不是你要的。

然后再把加载管线接进自己的评测脚本，跑一个小 baseline，哪怕只是过拟合几条片段，也比空看数字强。我接触具身智能这块大概两个月，最大的体会是数据管线跑通之前，谈模型结构都是空的。

往后看，第一视角人类数据会走当年图像数据集那条路，从「有没有」变成「谁更干净、标注更对齐、跨本体能不能直接迁移」。十万小时是起点，后面拼的是清洗和对齐的工程能力。