HABIT · NeurIPS 2026 数据集 · 人类意图信号

HABIT 意图信号

12 条 episode · Collaborator / Coworker / Supervisor 各 4 条 · 7,830 帧 @ 10 fps · 5 路相机

从多视角视频里提取了手掌 3D 轨迹、手到夹爪距离、上半身姿态、头戴相机对准的物体和"手里拿着什么",再和数据集自带的脚踏板步骤标签、由流程图推出的"谁在等谁"标签对齐。下面可以逐条查看每个信号随时间的变化,后面是这些信号能否预测人类意图的检验结果。

结论

最可预测
0.66 AUROC
"机器人在等人":用方向一致的少数信号,留一条测试,每条中位 AUROC 0.66(AP 0.39,基线 0.24)。
最稳定的信号
8 / 8 条方向一致
头部转动变快:在踩踏板前、机器人等人时都更明显,所有含该事件的 episode 方向一致。
跨任务难预测
0.57 AUROC
"1 s 内人会踩踏板切换步骤":12 个任务各 1 条,只比随机好一点;全部特征一起训练反而更差。
数据瓶颈
5 / 12 条无 3D
这 5 条的手腕、侧面相机没有通过本条数据的标定检查,只剩前视一路,只能用头戴相机的信号。

逐条查看

选一条 episode,在时间线上移动鼠标(或拖动下面的滑条、按左右方向键),右侧显示那一刻的头戴和前视画面,以及各项信号的读数。

机器人在等人 人在等机器人 无法判定 人踩踏板(步骤切换) "手里拿着"一行内:上半 = 左手,下半 = 右手
头戴相机
前视相机

哪些信号在各个任务里方向一致

每条 episode 内部单独算 AUROC(不受各任务站位、桌面布局不同的影响),图中是各条的中位数。点在 0.5 右边表示"信号越大越可能",左边表示"越小越可能"。右侧数字是方向一致的 episode 数。只列方向一致率 ≥ 75% 的信号。

把全部特征放进一个模型

按信号组训练逻辑回归,每次留一条 episode 测试,汇总所有测试帧的 AUROC,横线是 90% 置信区间(按 episode 重采样)。多数接近 0.5,有的低于 0.5:12 个任务各不相同,模型学到的是具体任务的特点。

头先对准,手再去拿

Hands23 检测到 次"开始拿起某物"。拿起那一刻,头戴画面中心正对着这个物体的比例是 56%,1 s 前约 51%,2–3 s 前回落到随机水平附近(42%)。

头的朝向只比手领先不到 1 s,领先幅度也小。头戴画面中心只是视线的粗略代理,头不动而眼睛在动的情况看不到。

每条 episode 的覆盖情况

每条单独标定相机;一路视角只有被本条数据确认(中位误差 ≤ 3 px、p90 ≤ 12 px)才参与融合。点击一行可在上面查看该条。

ep角色任务采集台通过检查的视角3D 手上半身覆盖头戴对准物体手里拿着踩踏板机器人等人人等机器人

标签和信号是怎么来的

人的步骤采集时人自己踩脚踏板标注(human_role_subtask_index),12 条里共 29 次切换。
谁在等谁从 12 张流程图整理出人和机器人步骤之间的依赖。机器人这一步需要人的某一步、而那一步还没完成,且机器人静止,记为"机器人在等人";反过来、且机器人在动,记为"人在等机器人"。Coworker 任务没有依赖。
手掌 3D、手到夹爪前视、两路手腕、侧面相机融合,转到论文定义的世界坐标;夹爪位置来自机器人正运动学。
上半身肘、腕用前视和侧面三角化;前视画面截掉了肩膀,肩用侧面单视角加固定上臂长度估计。
头戴对准OWLv2 按每个任务的物体词表检测,取离画面中心最近的物体。不需要头戴相机的位姿。
手里拿着Hands23(NeurIPS 2023)区分拿着、摸着、两手交握,给出抓握类型;被拿物体按重叠的 OWLv2 框命名。Supervisor 任务里偶尔会把机器人夹着的东西误判成人拿着。