head-first × Qwen3.8-27B：描述那一步换成单图管线的官方 caption prompt

架构与上一版逐字相同（俯视迭代描述 → GroundingPI 定位 → IoU 去重 → 左/右腕各找一次 → R1.5 两图并排验证）。本轮唯一变量是 describe 用的提示词：换成对象模式的官方 caption prompt REGION_DENSE_CAPTION_META_PROMPT + OBJECTS_ONLY_RULES（要求 pick 5–7 regions、名字里带颜色与位置关系），解析改用 [n: name] 正则。判官仍是 qwen3.8-27b（8001），8 个 episode 是同一批。所有「对 / 错」都是本轮逐张点开 img/ev/ 证据图人工判的，不是模型自评。

俯视物体总数（上一版 35 · R1.5 27）

侧视验证通过框（上一版 30）

23 / 27

人工核对「对」（上一版 22/30）

85.2%

精确率（上一版 73.3% · R1.5 42.9%）

结论：比简单 prompt 更好，但「物体变少」有坑

精确率 73.3% → 85.2%（+11.9 pt），错的框从 8 个降到 4 个；俯视物体数 35 → 27（−8）。逐张看图后，这 8 个的减少不是模型变保守，而是官方 prompt 给每个名字加了位置后缀（..., on wooden table），撞上管线里那份 DROP 关键字表（含 table / surface），把整条真物体一起过滤掉了。

只读复算（同一 prompt、同一 8 张俯视图，不写产物）：模型实际吐出 38 条候选，9 条被 DROP 丢弃，其中 7 条是真物体、2 条是机械臂（该丢）。把后缀修掉，物体数大约是 34，与简单 prompt 的 35 基本持平——也就是说 精确率的提升是真的，物体变少是解析口径的假象。

三方对比 · 同一批 8 个 episode

R1.5 与 27B+简单 prompt 的数字来自 headfirst/all.json 与 headfirst_27b/all.json 及其已发布页面；最后一列是本轮 headfirst_official/all.json + 本轮人工核对。

指标	R1.5 embodied-r15	27B + 简单 prompt P1+P2 迭代	27B + 单图官方 prompt 本轮
describe 提示词	P1 + 追问 P2（迭代 2–4 轮）	P1 + 追问 P2（迭代 2–4 轮）	官方 objects-only（单轮，pick 5–7）
describe 吐出的短语数	40	46	29（若不过滤：38）
俯视物体总数	27	35	27（−8 vs 35）
describe 阶段总耗时	4.3 s	9.8 s	31.4 s（3.2× vs 简单）
侧视验证通过框	30	30	27
人工对 / 错 / 无效	12 / 16 / 2	22 / 8 / 0	23 / 4 / 0
精确率	42.9%	73.3%	85.2%
判官候选框 / YES	54 / 37（68.5%）	68 / 35（51.5%）	54 / 28（51.9%）
总耗时（8 ep 串行）	12.7 s	57.5 s	71.8 s

精确率 +11.9 pt 的代价：describe 从 9.8 s 涨到 31.4 s（3.2×），总耗时 57.5 → 71.8 s。判官 YES 率与上一版持平（51.5% vs 51.9%），说明精度提升不是靠判官变严，而是送进来的物体本身更准。

「物体变少」的真实原因：位置后缀撞上 DROP 关键字

官方 prompt 要求名字带关系，模型写成 toaster, black, top-left, on wooden table； parse_official() 之后还要过 DROP = (..., "table", "surface", "desk", ...)， any(d in p for d in DROP) 命中就整条扔掉。下表是只读复算里被丢掉的 9 条。

episode	模型原样输出	判断
FineART/98147329	toaster, black, top-left, on wooden table	真物体，被丢
FineART/98147329	cup, teal, top-center, on wooden table	真物体，被丢
FineART/98147329	cup, green, top-right, on wooden table	真物体，被丢
FineART/98147329	box, cardboard, top-right, on wooden table	真物体，被丢
FineART/98147329	mat, dark blue, center, on wooden table	真物体，被丢
HIW-500-LeRobot/b429fcfe	tray, white rectangular, center of table	真物体，被丢
IMPACT/074a5442	screwdrivers, metal and plastic handles, lying on table, left side	真物体，被丢
AIRBOT/05ef29ef	robotic arm, white segments, left side	该丢（机械臂）
AIRBOT/05ef29ef	robotic arm, white segments, right side	该丢（机械臂）

结论：DROP 是按「整句子串」匹配的，适合简单 prompt 那种纯名词（white bowl），不适合官方 prompt 那种「名字 + 位置」的长句。修法有两条——按逗号切出主名再过滤，或把位置词从名字里剥掉—— 但本轮按要求没有改动管线。

逐 episode（点绿色 ✓ 看证据图；标红的 ✓ 是判官说 YES 但人工判错的）

FineART 0cc762b9

俯视物体 8 · 左腕通过 0 · 右腕通过 5 · 人工核对 2 对 / 3 错 其中 1 个勉强 · 16.0 s

编号	名字（官方 prompt 原文）	俯视框	左腕	右腕
1	container, pink, holding utensils, left of toaster	[216, 96, 257, 204]	—	✓ ✗错腕部框落在背景粉色柜板，不是台上的粉色收纳盒
2	object, red, spherical, right of toaster	[373, 112, 430, 180]	—	✓ ✗错腕部框落在背景货架的红色物，不是台上的红球
3	toaster, black, containing bread slices, top center	[280, 115, 358, 198]	—	—
4	dough, blue, round, on edge of white plate	[341, 215, 390, 263]	—	✓ 勉强：蓝色碗被黑色夹爪挡住大半，只框到露出一条弧
5	plate, white, round, bottom center	[280, 221, 403, 349]	—	✓
6	dough, pink, round, on white plate	[297, 259, 362, 327]	—	—
7	cup, transparent, small, right of white plate	[415, 273, 460, 311]	—	—
8	cup, yellow, small, left of white plate	[219, 284, 257, 322]	—	✓ ✗错腕部框是橙色果汁杯；俯视这个是小黄色面包，不是杯子

FineART 98147329

俯视物体 2 · 左腕通过 1 · 右腕通过 1 · 人工核对 2 对 / 0 错 其中 1 个勉强 · 8.2 s

编号	名字（官方 prompt 原文）	俯视框	左腕	右腕
1	bowl, white, center, on dark blue mat	[330, 225, 383, 278]	✓ 勉强：只框到白碗露出一角（腕部贴得很近）	—判官犹豫
2	tray, white, bottom-left, containing red object	[169, 249, 231, 325]	—	✓

AIRBOT_MMK2 05ef29ef

俯视物体 3 · 左腕通过 0 · 右腕通过 1 · 人工核对 1 对 / 0 错 其中 1 个勉强 · 8.7 s

编号	名字（官方 prompt 原文）	俯视框	左腕	右腕
1	tub, yellow plastic, top center	[118, 2, 486, 177]	—	—判官犹豫
2	bowl, pink plastic, bottom left	[47, 195, 246, 388]	—判官犹豫	✓ 勉强：腕部贴到粉色碗内壁，靠颜色与俯视一致判对
3	bowl, white plastic, bottom right	[372, 237, 540, 385]	—	—

AIRBOT_MMK2 6a507fc1

俯视物体 3 · 左腕通过 1 · 右腕通过 1 · 人工核对 2 对 / 0 错 其中 1 个勉强 · 9.0 s

编号	名字（官方 prompt 原文）	俯视框	左腕	右腕
1	bin, yellow plastic, top center	[123, 0, 493, 181]	—	✓ 勉强：只框到黄色桶留在画面最左的一条边
2	bowl, pinkish beige, bottom left	[86, 177, 276, 366]	✓	—
3	bowl, light grey, bottom right	[370, 232, 537, 384]	—判官犹豫	—

HIW-500-LeRobot 9e12a56e

俯视物体 2 · 左腕通过 1 · 右腕通过 1 · 人工核对 2 对 / 0 错 · 6.1 s

编号	名字（官方 prompt 原文）	俯视框	左腕	右腕
1	white shirt, folded, center-right	[623, 68, 831, 249]	✓	—
2	white shirt, flat, center-left	[187, 72, 374, 248] 与 1 号是同一块白托盘（重复）	—被侧视去重删掉（同一腕部框被两个物体认领）	✓ 同一块白色托盘，与 1 号重复

HIW-500-LeRobot b429fcfe

俯视物体 2 · 左腕通过 2 · 右腕通过 2 · 人工核对 4 对 / 0 错 · 6.3 s

编号	名字（官方 prompt 原文）	俯视框	左腕	右腕
1	block, white rectangular, left edge of tray	[112, 78, 292, 240]	✓	✓
2	rods, white cylindrical, right of tray	[726, 104, 842, 230]	✓	✓

IMPACT 074a5442

俯视物体 3 · 左腕通过 2 · 右腕通过 3 · 人工核对 5 对 / 0 错 · 7.8 s

编号	名字（官方 prompt 原文）	俯视框	左腕	右腕
1	paper, white with printed diagrams, lying flat, left side	[132, 96, 307, 302] 纸质说明图，可捡性存疑	—	✓
2	tray, blue plastic, holding black object, bottom center	[271, 227, 329, 323]	✓	✓
3	trays, red plastic, empty, arranged in a row, right side	[340, 235, 503, 307] 一个框套住 5 个红杯	✓	✓

IMPACT 14e5578b

俯视物体 4 · 左腕通过 3 · 右腕通过 3 · 人工核对 5 对 / 1 错 其中 1 个勉强 · 9.8 s

编号	名字（官方 prompt 原文）	俯视框	左腕	右腕
1	screwdriver, black handle, left side	[170, 215, 252, 290] 框同时套住黑柄与红柄两把工具	✓ ✗错腕部框落在黑色夹爪/袖口上，不是螺丝刀	✓ 勉强：腕部框住红柄螺丝刀，但俯视这个框同时套了两把工具
2	tray, blue plastic, center foreground	[277, 227, 336, 327]	✓	✓
3	tray, red plastic, right of blue tray	[386, 236, 503, 304]	✓	✓
4	tool, green handle, center left	[214, 250, 276, 272] 绿柄工具，红柄那把被 IoU 去重合并	—	—

失败模式（如实写）

模式	本轮实例
判官被名字带偏	FineART/0cc762b9 #8「cup, yellow」：右腕框住一只橙色果汁杯，判官 Step 1 直接写成“yellow cylindrical cup with liquid”，判 YES。俯视那个其实是小黄面包，不是杯子。
同色不同物	FineART/0cc762b9 #1、#2：右腕框落在背景柜板/货架上的粉色与红色物，颜色对上就算通过。
腕部视野外也给 YES	同一 episode 的 #1、#2 目标其实不在右腕画面里，GP 仍在背景里硬找一个“同色物体”。
俯视重复框	HIW/9e12a56e：一块白托盘出了 2 个框，两框在不同腕部视图都验证通过，若按物体数算会多计 1。
俯视框过大	IMPACT/14e5578b #1 一个框套住黑柄+红柄两把工具；IMPACT/074a5442 #3 一个框套住 5 个红杯。
判否理由与图无关	FineART/0cc762b9 #4 左腕：Step 1/2 都描述成“blue round dough-like object”，却因为用词（dough vs clay）判 NO——本批左腕在 FineART 0/8 全否，属于用词层面的假阴性。
纸/背景物进列表	IMPACT/074a5442 #1 把整张印刷说明纸当成可捡物；不算错但偏离“可捡起的物体”。

数据：/root/converseg-data/stitch/headfirst_official/all.json · 脚本：stitch/headfirst/run_official.py（基于 run.py，只改 describe 与输出目录）· 判官 qwen3.8-27b @ 8001 · GP @ 8015 · 无 SAM3 · 8 episode 串行 71.8 s · 人工核对：逐张点开 img/ev/ 27 张证据图