开源数据集不断涌现,真实采集、遥操作、仿真生成等不同数据生产方式持续发展,数据规模也从过去的小规模实验,逐渐走向百小时、千小时乃至更大规模。更多的数据,意味着机器人有机会看到更多任务、更多环境、更多操作方式,从中学习更加丰富的能力。但当数据规模越来越大,一个过去容易被忽略的问题也开始变得重要:我们知道自己有多少数据,但我们知道这些数据到底有多准吗?Ground Truth——真值。
机器人看到的世界,就是真实世界吗?
相机负责“看”,IMU感知运动状态,关节编码器记录自身关节位置,不同传感器共同帮助机器人理解自己和周围的世界。机器人“感知到的状态”,并不天然等于真实发生的状态。部署到真机以后,真实执行轨迹和仿真轨迹之间又产生了多少偏差?这些问题,仅仅依赖机器人自身的数据,有时很难独立回答。如果我们只用被测系统自己的数据来判断自己是否准确,就缺少了一把独立的“尺子”。这正是 Ground Truth 的意义。

什么是机器人需要的“真值”?
Ground Truth并不是某一种特定的数据格式,也不是简单地再增加一种传感器。提供一套独立于被测系统之外的客观参考。
例如,在机器人运动过程中,通过外部高精度测量系统,可以获得机器人及目标物真实的位置、姿态和运动轨迹。于是,我们就拥有了两组数据:
“我认为自己在哪里、怎么运动”
“实际上在哪里、实际上怎么运动”
两者进行比较,很多原本难以回答的问题才开始变得可以量化。Sim-to-Real之后,真实执行产生了多少偏差?Ground Truth真正提供的,并不是“更多数据”。而是一个判断其他数据是否准确的参考坐标。

当数据越来越多,“准确”可能比过去更加重要
但当机器人训练逐渐进入规模化数据生产阶段,问题会变得不同。如果位置存在偏差、不同传感器之间没有准确同步、物体真实姿态与记录结果存在误差……这些误差进入训练链路之后,并不会因为数据量变大而自动消失。另一个问题也值得被放到台面上:
这些数据,与真实世界之间到底相差多少?
规模越大,越需要理解数据质量;数据越重要,越需要知道它与真实世界之间的误差。进一步走向追求更可信的数据。
光学动捕,为什么可以成为一种外部“真值”?
但在机器人研发场景中,高精度光学动作捕捉还有另一个重要角色:测量真实发生的运动。
通过独立于机器人本体之外的光学测量系统,可以持续追踪机器人、末端执行器、目标物等对象在统一空间坐标系中的位置、姿态与运动轨迹。它不参与机器人自身的感知判断,也不依赖机器人告诉我们“自己在哪里”。数据采集 → 真值测量 → 结果对比 → 误差分析从捕捉运动,到测量运动;
从生产数据,到提供外部真值。

“真值”的价值,不只发生在数据采集阶段
如果进一步沿着机器人研发链路来看,Ground Truth其实可以发挥在不同阶段。
数据采集阶段
通过外部高精度测量,为机器人、人体、目标物等提供统一空间下的运动参考。算法验证阶段
将算法输出结果与外部测量结果进行比较,量化定位、轨迹、姿态等误差。训练与部署阶段
机器人评测阶段
把真实运动进一步转化为可以比较和分析的量化指标。
所以 Ground Truth 的价值,并不只是回答:
从 Ground Truth,到 RoboEval
当外部真值进一步进入机器人运动评测,就可以形成一条更加完整的验证链路。基于高精度光学动作捕捉与机器人运动分析能力,青瞳视觉推出 RoboEval机器人运动测评平台。它希望解决的,是机器人研发中一个越来越具体的问题:机器人实际做出来的,与我们希望它做到的,到底差多少?
通过外部高精度运动测量获取机器人真实执行数据,再进一步进行运动分析,让动作表现从肉眼观察逐渐走向客观数据。可测量 · 可量化 · 可比较 · 可验证

数据大爆发之后,我们需要的不只是更多数据
机器人需要海量数据,这一点正在成为越来越广泛的共识。“有数据”解决的是机器人有没有东西可以学;
“有真值”解决的是我们知不知道这些数据和结果到底有多准。当机器人越来越深入真实世界,当训练、部署和评测逐渐形成完整链路,独立、客观、高精度的外部参考也会变得越来越重要。它与真实世界,到底有多接近?
而这,或许正是 Ground Truth 最重要的价值。
CHINGMU 青瞳视觉
以高精度运动测量,为机器人研发提供客观的外部真值。