从多视角视频里提取了手掌 3D 轨迹、手到夹爪距离、上半身姿态、头戴相机对准的物体和"手里拿着什么",再和数据集自带的脚踏板步骤标签、由流程图推出的"谁在等谁"标签对齐。下面可以逐条查看每个信号随时间的变化,后面是这些信号能否预测人类意图的检验结果。
选一条 episode,在时间线上移动鼠标(或拖动下面的滑条、按左右方向键),右侧显示那一刻的头戴和前视画面,以及各项信号的读数。
每条 episode 内部单独算 AUROC(不受各任务站位、桌面布局不同的影响),图中是各条的中位数。点在 0.5 右边表示"信号越大越可能",左边表示"越小越可能"。右侧数字是方向一致的 episode 数。只列方向一致率 ≥ 75% 的信号。
按信号组训练逻辑回归,每次留一条 episode 测试,汇总所有测试帧的 AUROC,横线是 90% 置信区间(按 episode 重采样)。多数接近 0.5,有的低于 0.5:12 个任务各不相同,模型学到的是具体任务的特点。
Hands23 检测到 次"开始拿起某物"。拿起那一刻,头戴画面中心正对着这个物体的比例是 56%,1 s 前约 51%,2–3 s 前回落到随机水平附近(42%)。
头的朝向只比手领先不到 1 s,领先幅度也小。头戴画面中心只是视线的粗略代理,头不动而眼睛在动的情况看不到。
每条单独标定相机;一路视角只有被本条数据确认(中位误差 ≤ 3 px、p90 ≤ 12 px)才参与融合。点击一行可在上面查看该条。
| ep | 角色 | 任务 | 采集台 | 通过检查的视角 | 3D 手 | 上半身覆盖 | 头戴对准物体 | 手里拿着 | 踩踏板 | 机器人等人 | 人等机器人 |
|---|