
多模态数据平台,难解决的那部分在采集端
上周跟着朋友在他们机房待了半天。他们做具身智能,买了一整套亮源新创的多模态数据基础设施,采集硬件、标注平台、数据管理打包在一起交付。重点不在那个网页标注界面上。
他们要解决的问题是这样:三个人,两台机械臂,每天采一批抓取数据。以前相机各录各的,回头靠文件名对时间,标注用开源工具,标完导出表格再手动合并。工程师跟我讲,一条数据从采到能训,中间要过四五个脚本,错一次重来一遍。平台进来之后,采集端多了一个同步盒,几路相机、力传感器、机械臂位姿全从同一个时钟走。这是我看下来最实在的一块。
我上手的是标注那一端。朋友给了个临时权限,浏览器打开就进。左边是数据资产树,按任务、日期、操作员分层;中间是同步播放器,几路视频加一条力曲线,时间轴共用一条;右边是标签面板,字段可以自己加。第一个任务是给一段双臂抓取打标签,要标抓取的起始帧和结束帧,给目标物体拉个框,再判成功还是失败。听着简单,第一步就卡住了。
卡在同步上。播放器里手已经碰到杯子了,力曲线还平着。我以为平台有问题,把工程师叫过来,他看了一眼说这批是早期采的,同步盒还没装,时间戳走的是各设备自己的本地时钟,差了几十毫秒。后来换了一批新采的,拖时间轴,手指和力曲线是对得上的。
第二个坑是规范。平台给了一套标签模板,但真正落地得自己写规则文档:什么算抓取成功,滑一点算不算,失败分几类。这些平台不管,得团队自己定。他们说第一版规范改了四遍才稳定。
第三个坑在导出。平台的输出格式和他们的训练框架对不上,字段映射改了一轮。不算大问题,但要留出时间。
惊喜也有。多路对齐之后时间轴拖起来很顺,预标注能复用上一段的框,质检可以设成双人复核,谁标的、谁审的都有记录。这块比他们以前拿表格管版本强太多。
| 自建脚本方案 | 这套平台 | |
|---|---|---|
| 采集同步 | 靠文件名对,准不准看运气 | 硬件统一时钟,稳 |
| 标注协作 | 表格派活,容易撞车 | 权限和质检流程内置 |
| 数据版本 | 手动打标记 | 平台管,可回溯 |
| 上手成本 | 零成本,但得自己写 | 得有人学,规范自己定 |
看情况。适合已经有多台设备在采数据、数据量上到一定规模、下游要交给训练团队的团队,尤其是同步这件事自己搞不定的。不适合就一两个人做小样本验证的,开源工具加几个脚本更划算。这套的报价按项目谈,不便宜。
真要用,别急着上全套。挑你们手上最脏的那批数据,让厂商在现场跑一遍从采集到导出的完整流程,重点盯同步和导出这两段。这两段通了,剩下的都是磨合。
物界前沿