ground-first:三路相机各自 grounding → 跨视角配对

每一路(俯视 / 左腕 / 右腕)各自用官方 caption prompt 描述 → GroundingPI 定位 → IoU 0.5 去重; 然后 head-left / head-right / left-right 各调一次 27B 判官(先描述右图、再描述左图、再判是否同一物),最后匈牙利一对一(≥0.5)。 与 head-first 唯一的差别是:腕部相机也自己出物体,而不是只验俯视的框。7 个 episode(见页尾说明),一次完整运行。
78
三路物体总数(俯视 24 / 左腕 26 / 右腕 28)
17
配对数(head-first 同口径 25)
47.1%
人工核对精确率(8/17 全查)
1161 s
耗时(head-first 官方 prompt 71.8 s)

四行对比

方案俯视/物体数配对数人工精确率耗时
head-first + R1.5273042.9%12.7 s
head-first + 27B 简单 prompt353073.3%57.5 s
head-first + 27B 官方 prompt27(修后≈34)2785.2%71.8 s
ground-first + 27B 官方 prompt241747.1%1160.9 s
ground-first 这一行只跑了 7 集(第 4 集被跳过,见页尾)。把前三行也限定到这 7 集:head-first 官方 prompt = 24 个俯视物体 / 25 对 —— 也就是俯视物体数打平,配对数少 32%,精确率掉一半,耗时 16 倍。
ground-first 明显更差:47.1% vs 85.2%

多检测两路腕部相机,没有带来更多可用配对,只带来了更多假物体和更松的配对。

结论:问题不在配对的判官,而在腕部这一路根本不该自己 grounded 出物体。腕部画面被夹爪和自己机身占满,caption 模型于是把机械臂部件描述成物体(“mechanical component”“tool, dark, small”“sphere, white, smooth”),DROP 词表按词过滤挡不住这类描述。head-first(只让俯视出物体、腕部只负责验证)才是对的路子。

差在哪:四种失败模式

FineART 0cc762b9

俯视 6 · 左腕 2 · 右腕 4 个物体  |  配对 1 对,其中正确 0  |  用时 ≈213 s(按日志轮询时间估算,±30 s)
0/1
head
俯视 · 6 个物体
left
左腕 · 2 个物体
right
右腕 · 4 个物体

跨视角配对

pair
✘ 左腕 #1 ↔ 右腕 #4YES(判错)
food crumb, small brown, on white placemat ⟷ bowl, blue, bottom right
左是覆盖整片餐垫/盘子的巨框(标成 food crumb),右是蓝碗。

FineART 98147329

俯视 7 · 左腕 4 · 右腕 4 个物体  |  配对 4 对,其中正确 2  |  用时 ≈281 s(按日志轮询时间估算,±30 s)
2/4
head
俯视 · 7 个物体
left
左腕 · 4 个物体
right
右腕 · 4 个物体

跨视角配对

pair
✘ 俯视 #1 ↔ 左腕 #1YES(判错)
toaster, black, top-left ⟷ tray, black rectangular, left foreground
左是黑色烤面包机,右是腕前的黑色臂/桌面巨框,烤面包机根本不在右框里。
pair
✔ 俯视 #7 ↔ 左腕 #2YES
cup, small green, top-right ⟷ cup, teal plastic, below the snack box
同一个青色玻璃杯(杯后立着熊猫零食盒)。
pair
✘ 俯视 #4 ↔ 右腕 #4YES(判错)
plate, dark blue, center ⟷ bowl, green, bottom right corner
深蓝色盘子 vs 青绿色碗,两个不同容器。
pair
✔ 左腕 #2 ↔ 右腕 #4YES
cup, teal plastic, below the snack box ⟷ bowl, green, bottom right corner
同一个青色玻璃杯。

AIRBOT_MMK2_item_storage 05ef29ef

俯视 5 · 左腕 5 · 右腕 3 个物体  |  配对 3 对,其中正确 1  |  用时 ≈212 s(按日志轮询时间估算,±30 s)
1/3
head
俯视 · 5 个物体
left
左腕 · 5 个物体
right
右腕 · 3 个物体

跨视角配对

pair
✘ 俯视 #2 ↔ 右腕 #1YES(判错)
mechanical component, black, inside white bowl ⟷ object, white plastic, glowing green light, foreground left
左是粉碗里的黑色金属件,右是覆盖整条机械臂+绿光区的巨框,不是同一物。
pair
✘ 左腕 #3 ↔ 右腕 #2YES(判错)
tool, dark, small, held in center ⟷ cable, black, coiled, right side
左是横跨夹爪手指的空框,右是腕部排线,两边都不是可标物体。
pair
✔ 左腕 #4 ↔ 右腕 #3YES
sphere, white, smooth, top center ⟷ bowl, pink, midground center
两边是同一个粉色腕部相机外壳——同一物,但是机器人自身部件,不是任务物体。

HIW-500-LeRobot 9e12a56e

俯视 0 · 左腕 4 · 右腕 3 个物体  |  配对 1 对,其中正确 1  |  用时 ≈95 s(按日志轮询时间估算,±30 s)
1/1
head
俯视 · 0 个物体
left
左腕 · 4 个物体
right
右腕 · 3 个物体

跨视角配对

pair
✔ 左腕 #1 ↔ 右腕 #1YES
tray, white molded pulp, center foreground ⟷ tray, white plastic, rectangular, left side
同一个白色模压托盘——但左右都是铺满整幅画面的巨框,框不可用。

HIW-500-LeRobot b429fcfe

俯视 2 · 左腕 4 · 右腕 6 个物体  |  配对 1 对,其中正确 1  |  用时 ≈151 s(按日志轮询时间估算,±30 s)
1/1
head
俯视 · 2 个物体
left
左腕 · 4 个物体
right
右腕 · 6 个物体

跨视角配对

pair
✔ 俯视 #2 ↔ 右腕 #3YES
tubes, white cylindrical, right of tray ⟷ white tapered tube, conical shape, leftmost of the row
同一排白色锥形管(俯视框框住整排,右框是其中一支)。

IMPACT 074a5442

俯视 2 · 左腕 3 · 右腕 4 个物体  |  配对 3 对,其中正确 0  |  用时 ≈122 s(按日志轮询时间估算,±30 s)
0/3
head
俯视 · 2 个物体
left
左腕 · 3 个物体
right
右腕 · 4 个物体

跨视角配对

pair
✘ 俯视 #1 ↔ 左腕 #2YES(判错)
hand, skin tone, inside blue bin ⟷ bin, blue plastic, midground left
左框标的是“手”,右是蓝色料盒。判官把“手伸进盒子里”当成了同一物。
pair
✘ 俯视 #1 ↔ 右腕 #2YES(判错)
hand, skin tone, inside blue bin ⟷ bin, blue plastic, containing small parts
同上:手 vs 蓝色料盒。
pair
✘ 左腕 #2 ↔ 右腕 #3YES(判错)
bin, blue plastic, midground left ⟷ tray, red plastic, divided into compartments
蓝色料盒 vs 红色分格托盘,两个不同容器被配成一对。

IMPACT 14e5578b

俯视 2 · 左腕 4 · 右腕 4 个物体  |  配对 4 对,其中正确 3  |  用时 ≈119 s(按日志轮询时间估算,±30 s)
3/4
head
俯视 · 2 个物体
left
左腕 · 4 个物体
right
右腕 · 4 个物体

跨视角配对

pair
✘ 俯视 #1 ↔ 左腕 #1YES(判错)
tray, red plastic, four compartments ⟷ board, white paper with grid, under bins
左是红色四格托盘,右是覆盖整张白纸的巨框。
pair
✔ 俯视 #2 ↔ 左腕 #3YES
box, blue cardboard, open top ⟷ bin, blue plastic, midground left
同一个蓝色料盒,两边框都还贴合。
pair
✔ 俯视 #1 ↔ 右腕 #2YES
tray, red plastic, four compartments ⟷ bin, red plastic container, behind blue bin
同一个红色四格托盘。
pair
✔ 左腕 #2 ↔ 右腕 #1YES
object, black handheld, top center ⟷ tool, black handheld device, held in hand, top right
同一个黑色手持夹爪——但左右都是包住整只手的巨框,框不可用。