ground-first:三路相机各自 grounding → 跨视角配对
每一路(俯视 / 左腕 / 右腕)各自用官方 caption prompt 描述 → GroundingPI 定位 → IoU 0.5 去重;
然后 head-left / head-right / left-right 各调一次 27B 判官(先描述右图、再描述左图、再判是否同一物),最后匈牙利一对一(≥0.5)。
与 head-first 唯一的差别是:腕部相机也自己出物体,而不是只验俯视的框。7 个 episode(见页尾说明),一次完整运行。
78
三路物体总数(俯视 24 / 左腕 26 / 右腕 28)
1161 s
耗时(head-first 官方 prompt 71.8 s)
四行对比
| 方案 | 俯视/物体数 | 配对数 | 人工精确率 | 耗时 |
| head-first + R1.5 | 27 | 30 | 42.9% | 12.7 s |
| head-first + 27B 简单 prompt | 35 | 30 | 73.3% | 57.5 s |
| head-first + 27B 官方 prompt | 27(修后≈34) | 27 | 85.2% | 71.8 s |
| ground-first + 27B 官方 prompt | 24 | 17 | 47.1% | 1160.9 s |
ground-first 这一行只跑了 7 集(第 4 集被跳过,见页尾)。把前三行也限定到这 7 集:head-first 官方 prompt = 24 个俯视物体 / 25 对 —— 也就是俯视物体数打平,配对数少 32%,精确率掉一半,耗时 16 倍。
ground-first 明显更差:47.1% vs 85.2%
多检测两路腕部相机,没有带来更多可用配对,只带来了更多假物体和更松的配对。
- 配对数下降:17 对 vs 同集 head-first 的 25 对。物体从 24 涨到 78 个,判官调用量涨到数十次一次,最后活下来的配对反而少了三分之一。
- 精确率腰斩:47.1%(8/17)vs 85.2%。9 个错配里,8 个至少有一端是腕部框。
- 耗时 16 倍:1160.9 s vs 71.8 s。理由是配对是 O(N²) 次 27B 调用,78 个物体直接把它撑爆。
- 真正能用的只有 4/17(23.5%):必须是“任务物体 + 框基本贴合”。另外 4 个“同物”里,1 个配的是机器人腕部外壳,3 个是铺满半幅画面的巨框。
结论:问题不在配对的判官,而在腕部这一路根本不该自己 grounded 出物体。腕部画面被夹爪和自己机身占满,caption 模型于是把机械臂部件描述成物体(“mechanical component”“tool, dark, small”“sphere, white, smooth”),DROP 词表按词过滤挡不住这类描述。head-first(只让俯视出物体、腕部只负责验证)才是对的路子。
差在哪:四种失败模式
- ① 腕部把机器人自身当物体。05ef29ef 最典型:左腕 5 个框全在粉色腕部外壳、排线、手套高光上;右腕同样。这一集 3 对配对没有一对可用。
- ② 巨框。腕部贴得近,目标占画面比例大,
max_area 0.6 的上限拦不住。14e5578b 左腕 #1 覆盖整张白纸、右腕 #1 包住整只手;074a5442 右腕 #1 覆盖整幅画面;9e12a56e 左右腕各一个大框盖住整个托盘。框没法用,但判官照样给 YES。
- ③ 判官把“手”和“手里的容器”当同一物。074a5442 连续两对 hand ↔ blue bin(左腕、右腕各一次),因为两张图里都能看到手在盒子里。
- ④ 匈牙利一对一强制配。UNSURE 记 0.5 也能过 0.5 的阈值,只要矩阵里有非零就一定会配上,于是“蓝盒 ↔ 红托盘”“深蓝盘 ↔ 青绿碗”这种跨类目搭配也被接受。
FineART 0cc762b9
俯视 6 · 左腕 2 · 右腕 4 个物体 | 配对 1 对,其中正确 0 | 用时 ≈213 s(按日志轮询时间估算,±30 s)
0/1
俯视 · 6 个物体
左腕 · 2 个物体
右腕 · 4 个物体跨视角配对
✘ 左腕 #1 ↔ 右腕 #4YES(判错)
food crumb, small brown, on white placemat ⟷ bowl, blue, bottom right
左是覆盖整片餐垫/盘子的巨框(标成 food crumb),右是蓝碗。
FineART 98147329
俯视 7 · 左腕 4 · 右腕 4 个物体 | 配对 4 对,其中正确 2 | 用时 ≈281 s(按日志轮询时间估算,±30 s)
2/4
俯视 · 7 个物体
左腕 · 4 个物体
右腕 · 4 个物体跨视角配对
✘ 俯视 #1 ↔ 左腕 #1YES(判错)
toaster, black, top-left ⟷ tray, black rectangular, left foreground
左是黑色烤面包机,右是腕前的黑色臂/桌面巨框,烤面包机根本不在右框里。
✔ 俯视 #7 ↔ 左腕 #2YES
cup, small green, top-right ⟷ cup, teal plastic, below the snack box
同一个青色玻璃杯(杯后立着熊猫零食盒)。
✘ 俯视 #4 ↔ 右腕 #4YES(判错)
plate, dark blue, center ⟷ bowl, green, bottom right corner
深蓝色盘子 vs 青绿色碗,两个不同容器。
✔ 左腕 #2 ↔ 右腕 #4YES
cup, teal plastic, below the snack box ⟷ bowl, green, bottom right corner
同一个青色玻璃杯。
AIRBOT_MMK2_item_storage 05ef29ef
俯视 5 · 左腕 5 · 右腕 3 个物体 | 配对 3 对,其中正确 1 | 用时 ≈212 s(按日志轮询时间估算,±30 s)
1/3
俯视 · 5 个物体
左腕 · 5 个物体
右腕 · 3 个物体跨视角配对
✘ 俯视 #2 ↔ 右腕 #1YES(判错)
mechanical component, black, inside white bowl ⟷ object, white plastic, glowing green light, foreground left
左是粉碗里的黑色金属件,右是覆盖整条机械臂+绿光区的巨框,不是同一物。
✘ 左腕 #3 ↔ 右腕 #2YES(判错)
tool, dark, small, held in center ⟷ cable, black, coiled, right side
左是横跨夹爪手指的空框,右是腕部排线,两边都不是可标物体。
✔ 左腕 #4 ↔ 右腕 #3YES
sphere, white, smooth, top center ⟷ bowl, pink, midground center
两边是同一个粉色腕部相机外壳——同一物,但是机器人自身部件,不是任务物体。
HIW-500-LeRobot 9e12a56e
俯视 0 · 左腕 4 · 右腕 3 个物体 | 配对 1 对,其中正确 1 | 用时 ≈95 s(按日志轮询时间估算,±30 s)
1/1
俯视 · 0 个物体
左腕 · 4 个物体
右腕 · 3 个物体跨视角配对
✔ 左腕 #1 ↔ 右腕 #1YES
tray, white molded pulp, center foreground ⟷ tray, white plastic, rectangular, left side
同一个白色模压托盘——但左右都是铺满整幅画面的巨框,框不可用。
HIW-500-LeRobot b429fcfe
俯视 2 · 左腕 4 · 右腕 6 个物体 | 配对 1 对,其中正确 1 | 用时 ≈151 s(按日志轮询时间估算,±30 s)
1/1
俯视 · 2 个物体
左腕 · 4 个物体
右腕 · 6 个物体跨视角配对
✔ 俯视 #2 ↔ 右腕 #3YES
tubes, white cylindrical, right of tray ⟷ white tapered tube, conical shape, leftmost of the row
同一排白色锥形管(俯视框框住整排,右框是其中一支)。
IMPACT 074a5442
俯视 2 · 左腕 3 · 右腕 4 个物体 | 配对 3 对,其中正确 0 | 用时 ≈122 s(按日志轮询时间估算,±30 s)
0/3
俯视 · 2 个物体
左腕 · 3 个物体
右腕 · 4 个物体跨视角配对
✘ 俯视 #1 ↔ 左腕 #2YES(判错)
hand, skin tone, inside blue bin ⟷ bin, blue plastic, midground left
左框标的是“手”,右是蓝色料盒。判官把“手伸进盒子里”当成了同一物。
✘ 俯视 #1 ↔ 右腕 #2YES(判错)
hand, skin tone, inside blue bin ⟷ bin, blue plastic, containing small parts
同上:手 vs 蓝色料盒。
✘ 左腕 #2 ↔ 右腕 #3YES(判错)
bin, blue plastic, midground left ⟷ tray, red plastic, divided into compartments
蓝色料盒 vs 红色分格托盘,两个不同容器被配成一对。
IMPACT 14e5578b
俯视 2 · 左腕 4 · 右腕 4 个物体 | 配对 4 对,其中正确 3 | 用时 ≈119 s(按日志轮询时间估算,±30 s)
3/4
俯视 · 2 个物体
左腕 · 4 个物体
右腕 · 4 个物体跨视角配对
✘ 俯视 #1 ↔ 左腕 #1YES(判错)
tray, red plastic, four compartments ⟷ board, white paper with grid, under bins
左是红色四格托盘,右是覆盖整张白纸的巨框。
✔ 俯视 #2 ↔ 左腕 #3YES
box, blue cardboard, open top ⟷ bin, blue plastic, midground left
同一个蓝色料盒,两边框都还贴合。
✔ 俯视 #1 ↔ 右腕 #2YES
tray, red plastic, four compartments ⟷ bin, red plastic container, behind blue bin
同一个红色四格托盘。
✔ 左腕 #2 ↔ 右腕 #1YES
object, black handheld, top center ⟷ tool, black handheld device, held in hand, top right
同一个黑色手持夹爪——但左右都是包住整只手的巨框,框不可用。