多视角 grounding 管线：描述 → 定位 → 分割 → 校验 → 跨视角配对
R1.5 描述 · GroundingPI 定位 · SAM3 box-prompt 分割 · R1.5 轮廓校验 · 整图并排配对 + Hungarian。数据
probe_real/cases，每 episode 取俯视 + 左腕 + 右腕三路。3episode 数
2.22 个每路平均保留
3配对数
3 / 3人工核对错配数
15配对调用次数
41 s总耗时
FineART · 0cc762b9c824
俯视 cam_high5 保留
短语 8（主 1）· 框 8 · 分割 8 · 校验通过 5 · 去重 2
#1brown plastic cup 0.96#2white toaster 0.98#3orange ball 0.98#4blue ball 0.97#5red apple 0.96
左腕 left_wrist1 保留
短语 1（主 1）· 框 1 · 分割 1 · 校验通过 1
#1blue bowl 0.98
右腕 right_wrist1 保留
短语 2（主 1）· 框 2 · 分割 2 · 校验通过 1 · 去重 1
#1orange glass 0.98
跨视角配对（Hungarian，阈值 0.5）
俯视 ↔ 左腕：无配对（粗筛最高 0.86 < 0.45，或 VLM 判 NO）
俯视 ↔ 右腕：无配对（粗筛最高 0.77 < 0.45，或 VLM 判 NO）
左腕 ↔ 右腕：无配对（粗筛最高 0.39 < 0.45，或 VLM 判 NO）
本 episode 没有任何配对成立。
展开全部配对调用图（含 NO/UNSURE，共 5 张）
FineART · 9814732906b6
俯视 cam_high5 保留
短语 6（主 1）· 框 6 · 分割 6 · 校验通过 5
#1red apple 0.97#2blue plate 0.98#3white bowl 0.97#4green cup 0.95#5brown cardboard box 0.97
左腕 left_wrist1 保留
短语 2（主 1）· 框 2 · 分割 2 · 校验通过 1 · 去重 1
#1blue cup 0.98
右腕 right_wrist3 保留
短语 3（主 1）· 框 3 · 分割 3 · 校验通过 3
#1white box 0.98#2blue cup 0.98#3green bowl 0.96
跨视角配对（Hungarian，阈值 0.5）
俯视 ↔ 左腕：无配对（粗筛最高 0.69 < 0.45，或 VLM 判 NO）
俯视 ↔ 右腕：无配对（粗筛最高 0.66 < 0.45，或 VLM 判 NO）
YES左腕 ↔ 右腕 俯视/前视 #0 blue cup ↔ #1 blue cup score 1.00人工：错配 左腕框住的是蓝色包装袋/盒的下缘，右腕是蓝色玻璃杯，两个物体
展开全部配对调用图（含 NO/UNSURE，共 8 张）
AIRBOT_MMK2_item_storage · 05ef29efc09d
俯视 cam_high2 保留
短语 3（主 1）· 框 3 · 分割 3 · 校验通过 2 · 去重 1
#1yellow plastic crate 0.99#2white bowl 0.98
左腕 left_wrist1 保留
短语 2（主 1）· 框 2 · 分割 2 · 校验通过 1 · 去重 1
#1white bowl 0.98
右腕 right_wrist1 保留
短语 1（主 1）· 框 1 · 分割 1 · 校验通过 1
#1pink bowl 0.96
跨视角配对（Hungarian，阈值 0.5）
YES俯视 ↔ 左腕 俯视/前视 #1 white bowl ↔ #0 white bowl score 1.00人工：错配 左腕框在夹爪指上（浅米色塑料件），俯视框是桌上的白碗，不是同一个
俯视 ↔ 右腕：无配对（粗筛最高 0.41 < 0.45，或 VLM 判 NO）
YES左腕 ↔ 右腕 俯视/前视 #0 white bowl ↔ #0 pink bowl score 1.00人工：错配 两路都框在机器人夹爪部件上，VLM 都把塑料手指说成 bowl；物体类别本身就是错的
展开全部配对调用图（含 NO/UNSURE，共 2 张）
口径：
· ④ 校验用 2px 绿色轮廓（不填充）裁到物体外扩 25% 的局部图上问 R1.5，只保留 yes。
· ③ 分割优先用 GroundingPI 的框作 SAM3 box prompt（“在该框内切 mask”），拿不到再退回 文本 prompt（整图 → 扩框裁图）。
· 同一物体被两个短语命中时按 mask IoU > 0.6 去重，保留 SAM 分高的那个。
· ⑤ 粗筛 = 0.5·色调直方图 + 0.3·平均色 + 0.2·面积比，阈值 0.45；⑥ 每对一次整图并排（5px 红框 + 黄箭头，先 REL_A/REL_B 后 ANSWER）；⑦ Hungarian ≥ 0.5，配不上记 ambiguous。
· 腕部画面机械臂占大半，描述阶段只能给出 0–2 个物体，且常把夹爪塑料件叫成 bowl —— 这是本轮最大的误差来源。
· ④ 校验用 2px 绿色轮廓（不填充）裁到物体外扩 25% 的局部图上问 R1.5，只保留 yes。
· ③ 分割优先用 GroundingPI 的框作 SAM3 box prompt（“在该框内切 mask”），拿不到再退回 文本 prompt（整图 → 扩框裁图）。
· 同一物体被两个短语命中时按 mask IoU > 0.6 去重，保留 SAM 分高的那个。
· ⑤ 粗筛 = 0.5·色调直方图 + 0.3·平均色 + 0.2·面积比，阈值 0.45；⑥ 每对一次整图并排（5px 红框 + 黄箭头，先 REL_A/REL_B 后 ANSWER）；⑦ Hungarian ≥ 0.5，配不上记 ambiguous。
· 腕部画面机械臂占大半，描述阶段只能给出 0–2 个物体，且常把夹爪塑料件叫成 bowl —— 这是本轮最大的误差来源。