FineART0cc762b9 · cam_high
短语 4 · 框 4 · 保留 4 · 对 4 / 错 0 / 漏 3
- #1blue ball校验 yes1.00%blue ball ✓
- #2orange ball校验 yes6.83%orange ball：框偏松，含整盘+两球
- #3brown cup校验 yes0.63%brown cup：实为棕色小碗
- #4brown toaster校验 yes2.81%brown toaster：实为黑色烤面包机
R1.5 描述 → GroundingPI 定位 → R1.5 二次校验
真机帧实测 · 12 帧 / 4 数据集（俯视·正视角）· 与 Florence-2 同帧对比 · 人工逐框核对 · 2026-11-03
12跑通帧数
32GP 最终保留框
26人工判「对」
6人工判「错」
27人工判「漏」
37GP 调用次数
1 · GP vs Florence-2（同两帧俯视）
仓库 run3 的 Florence 结果只覆盖 FineART cam_high 与 AIRBOT cam_high 两帧（其余 6 个视角不是本轮俯视帧，未参与对比）。两帧图像与 cases 里的 v0 逐像素一致（重编码差 <1.2/255），口径统一为「保留数 / 人工判对 / 人工判错 / 漏」。
| 方法 | 这两帧保留框 | 对 | 错 | 漏 |
|---|---|---|---|---|
| R1.5 → GroundingPI → 校验 | 5 | 4 | 1 | 6 |
| Florence-2（run3） | 3 | 2 | 1 | 8 |
| 帧 | 数据集 / episode | Florence 框 | 对 | 错 | 漏 |
|---|---|---|---|---|---|
| FineART | 98147329 | 3 | 2 | 1 | 5 |
| AIRBOT_MMK2_item_storage | 05ef29ef | 0 | 0 | 0 | 3 |
2 · 逐帧四个数（短语 / 定位框 / 保留 / 对·错·漏）
| 数据集 | episode | 相机 | 短语数 | GP 框数 | 保留数 | 对 | 错 | 漏 | GP 耗时 |
|---|---|---|---|---|---|---|---|---|---|
| FineART | 0cc762b9 | cam_high | 4 | 4 | 4 | 4 | 0 | 3 | 0.70s |
| FineART | 98147329 | cam_high | 4 | 4 | 4 | 3 | 1 | 4 | 0.70s |
| FineART | b2f7a610 | cam_high | 6 | 6 | 5 | 5 | 0 | 3 | 1.40s |
| AIRBOT_MMK2_item_storage | 05ef29ef | cam_high | 1 | 1 | 1 | 1 | 0 | 2 | 0.10s |
| AIRBOT_MMK2_item_storage | 6a507fc1 | cam_high | 1 | 1 | 1 | 0 | 1 | 2 | 0.10s |
| AIRBOT_MMK2_item_storage | 77e547f6 | cam_high | 2 | 2 | 2 | 2 | 0 | 1 | 0.20s |
| HIW-500-LeRobot | 9e12a56e | head | 1 | 1 | 1 | 1 | 0 | 0 | 0.70s |
| HIW-500-LeRobot | b429fcfe | head | 1 | 1 | 1 | 1 | 0 | 0 | 1.10s |
| HIW-500-LeRobot | c74ac618 | head | 1 | 1 | 1 | 1 | 0 | 1 | 0.10s |
| IMPACT | 074a5442 | front | 8 | 8 | 6 | 3 | 3 | 4 | 1.90s |
| IMPACT | 14e5578b | front | 5 | 5 | 4 | 4 | 0 | 3 | 1.30s |
| IMPACT | 29fd9afe | front | 3 | 3 | 2 | 1 | 1 | 4 | 0.40s |
| 合计 | 37 | 37 | 32 | 26 | 6 | 27 | 8.7s | ||
耗时口径：37 次 GroundingPI 调用累计 8.7s，实测均值 0.24s/次（远快于仓库文档记录的 3.8 s/次，服务端为热态、图像 640×360 级）。R1.5 描述累计 41.5s。最终一次全量跑完约 1 分钟（3 路 case 并发 × 4 线程 GP/校验）；此前 3 轮调试中服务端冷启动单次可达 0.7–1.1 s。
3 · 逐帧明细（绿色框 = 通过二次校验）
FineART98147329 · cam_high
短语 4 · 框 4 · 保留 4 · 对 3 / 错 1 / 漏 4
- #1green cup校验 yes0.34%green cup ✓
- #2green cup lid校验 yes0.34%green cup lid：与#1同一框，重复
- #3white bowl lid校验 yes1.17%white bowl lid：框在 white bowl 上，名词怪
- #4red apple校验 yes2.05%red apple：框在托盘里的红色圆物上
FineARTb2f7a610 · cam_high
短语 6 · 框 6 · 保留 5 · 对 5 / 错 0 / 漏 3
- #1orange ball校验 yes1.02%orange ball：实为红色球
- #2green plate校验 yes3.28%green plate：实为绿色碗
- #3red toy car校验 yes3.55%red toy car：透明托盘里的红色玩具
- #4brown cup校验 yes0.65%brown cup ✓
- #5brown bag校验 yes2.93%brown bag：粉色麦片盒
AIRBOT_MMK2_item_storage05ef29ef · cam_high
短语 1 · 框 1 · 保留 1 · 对 1 / 错 0 / 漏 2
- #1white bowl校验 yes8.09%white bowl ✓（框含夹爪）
AIRBOT_MMK2_item_storage6a507fc1 · cam_high
短语 1 · 框 1 · 保留 1 · 对 0 / 错 1 / 漏 2
- #1white bowl校验 yes11.57%white bowl：框在粉色碗上，白碗在右侧
AIRBOT_MMK2_item_storage77e547f6 · cam_high
短语 2 · 框 2 · 保留 2 · 对 2 / 错 0 / 漏 1
- #1white bowl校验 yes8.25%white bowl ✓
- #2pink bowl校验 yes12.63%pink bowl ✓
HIW-500-LeRobot9e12a56e · head
短语 1 · 框 1 · 保留 1 · 对 1 / 错 0 / 漏 0
- #1white cloth校验 yes9.52%white cloth：框在白色托盘上，名词不符
HIW-500-LeRobotb429fcfe · head
短语 1 · 框 1 · 保留 1 · 对 1 / 错 0 / 漏 0
- #1white plate校验 yes8.19%white plate：实为白色托盘，同族
HIW-500-LeRobotc74ac618 · head
短语 1 · 框 1 · 保留 1 · 对 1 / 错 0 / 漏 1
- #1white pipe校验 yes1.74%white pipe：框住白色管束
IMPACT074a5442 · front
短语 8 · 框 8 · 保留 6 · 对 3 / 错 3 / 漏 4
- #1blue tool box校验 yes2.09%blue tool box ✓（蓝箱）
- #2red tray校验 yes1.10%red tray ✓（盖住两个托盘）
- #3orange screwdriver校验 yes0.97%orange screwdriver ✓（框松，含绿柄）
- #4black screwdriver校验 yes0.92%black screwdriver：画面无黑柄螺丝刀
- #5orange screwdriver handle校验 yes0.48%orange screwdriver handle：与#3重复
- #6black screwdriver handle校验 yes0.96%black screwdriver handle：框在蓝柄上且与#4重复
IMPACT14e5578b · front
短语 5 · 框 5 · 保留 4 · 对 4 / 错 0 / 漏 3
- #1blue container校验 yes2.27%blue container ✓
- #2red tray校验 yes3.49%red tray ✓（盖住三个托盘）
- #3black tool校验 yes1.77%black tool：框在蓝柄螺丝刀上，泛称可接受
- #4red tool校验 yes0.60%red tool ✓（橙红柄螺丝刀）
IMPACT29fd9afe · front
短语 3 · 框 3 · 保留 2 · 对 1 / 错 1 / 漏 4
- #1orange screwdriver校验 yes0.63%orange screwdriver ✓
- #2black screwdriver校验 yes0.89%black screwdriver：框在绿柄+蓝柄上，无黑柄
4 · 失败模式
二次校验几乎不拒（本轮最大问题）
- 37 个候选框只拒了 5 个（13.5%），保留 32 个里人工判错 6 个 —— 校验的「yes」率 86%，接受精度 81%。
- 5 个拒绝中有 4 个是对的（把麦片盒当 toaster、把绿柄/蓝柄螺丝刀当成同名目标时拒掉）；对「名词与物体同族但属性不符」完全不设防。
- 典型漏放：
black screwdriver框在绿柄+蓝柄螺丝刀上仍答 yes（IMPACT 074a5442 / 29fd9afe）；white bowl框在粉色碗上仍答 yes（AIRBOT 6a507fc1）。 - 温度 0 仍不稳定：同一裁剪图
red apple有时 yes 有时 no，说明它按「图里有没有红色圆东西」而非「是不是 apple」判。
R1.5 描述：短、会复读、会瞎起名
- 5/12 帧因为模型的
{"object":...}数组在 max_tokens=600 处被复读撑爆（如连续 30 次 "brown toaster"），标准 JSON 解析直接归零；改成宽松抽取"object"字段后才拿到短语。这是本轮 0 短语帧的唯一原因。 - AIRBOT 三帧只给 1–2 个短语，黄桶几乎从不出现；HIW 三帧每帧只给 1 个短语。
- IMPACT 帧短语里出现
blue screwdriver handle/black screwdriver handle这类「同一物体拆成物体+部位」，直接制造重复框（074a5442 有 6 个保留框其实只有 3 个物体）。
GroundingPI 的行为
- 37 条短语 / 37 个框：零弃权，GroundingPI 从没输出过 none。不存在的
black screwdriver、white cloth照样给框，没有校验兜底就是纯 FP。 - 框普遍偏松：
orange ball把整只盘子框进去（6.8% 画面），red tray一次盖住 2–3 个托盘。 - 同一物体只回 1 个框，多实例（4 个红托盘、3 根螺丝刀、3 束白管）默认只框最左/最显眼的一个 → 漏检主因之一。
- HIW 双目 head 帧（960×360，左右各一份）只框左半幅，右半幅同物体被忽略，不影响判对但会让漏检统计偏大。
5 · 口径
- 链路严格按题面：R1.5 描述（max_tokens 600）→ 背景/机器人词过滤 → 每条短语一次 GP locate（每 ref 最多 2 框）→ 面积 0.1%–60% 过滤 → 20% padding 裁剪放大到 320 宽 → R1.5「是否主要是 X」只答 yes/no → 仅 yes 保留。
- 对：框落在一个真实物体上，且该物体就是短语指的（颜色/材质/形状词有偏差记为「名称瑕疵」，仍算对）。错：框落在别的物体/背景/机械臂上，或两条框重复指向同一物体（重复=错）。漏：人工数出的明显可抓取物体中，没有对应框的数量。
- 所有判定由逐帧放大看图完成，未沿用模型自评。