object×part/100-image gallery

100 图结果

同一批图、同一台 H200、同一份 SAM3。下面是全部 100 个案例的三管线输出。

物体管线
827行
R1.5 + GroundingPI + SAM3
部件管线
35行
R1.5 + SAM3
部件管线
95行
27B + SAM3
指标 物体 · R1.5+GP+SAM3 部件 · R1.5+SAM3 部件 · 27B+SAM3
完成 / 失败100 / 0100 / 0100 / 0
接受单元466 区域229 部件172 部件
生成题1491107176
验题通过961(64.5%)49(45.8%)136(77.3%)
导出行8273595
墙钟393 s198 s513 s
单图5.7 s2.9 s5.1 s
峰值显存74 GB——

三条管线各自怎么做

A

物体管线

R1.5 + GroundingPI + SAM3
  1. 看懂:VLM 说出 5–7 个物体,每个带属性与位置("mug, white ceramic, left side")。
  2. 定位:GroundingPI 按每条 label 出一个框(0–999 量化坐标,多实例合并)。
  3. 分割:SAM3 吃框出 mask,再用 caption 概念建的池子做一次 refine。
  4. 验区:VLM 看 overlay,判断这个 mask 是不是这条 label;再在初始/精修两版里挑更好的。
  5. 出题:每个合格区域跑 5 类题——实体、空间、可供性、关系、物理。
  6. 验题:一条一条过,问"这个问题能不能只靠 mask 答出来"。

产出 827 行 · 每区域 3.2 道题

B

部件管线 · R1.5

R1.5 + SAM3 · 无定位
  1. 看懂:部件专用提示词,直接说部件短语("mug handle, curved, right side"),不列物体清单。
  2. 归一化:去掉冠词与冗余修饰、过词表与黑名单,得到 SAM3 能吃的两词短语。
  3. 分割:SAM3 文本 prompt 出 mask,取最高分实例。
  4. 验区:VLM 只问"这个 mask 是不是这个部件"。
  5. 出题:只跑 PARTS 一类(抓取/功能/空间)。

产出 35 行 · 每部件 0.47 道题

C

部件管线 · 27B

27B + SAM3 · 无定位
  1. 看懂:同样的部件提示词,换成 27B。说得更多(614 行 vs 580)。
  2. 归一化:同一套词表与黑名单。
  3. 分割:SAM3 文本 prompt,命中率更高(78.8% vs 70.7%)。
  4. 验区:同样问"是不是这个部件",但 27B 判得更严——301 个 mask 拒掉 129 个。
  5. 出题:只跑 PARTS,但每部件能出 1.02 道(R1.5 是 0.47)。

产出 95 行 · 每部件 1.02 道题

一句话:A 和 B/C 的唯一结构差别是要不要先出框——物体必须定位(否则分不清"哪个杯子"),部件不需要("mug handle" 本身已经说清切哪里)。B 和 C 的唯一变量是 VLM。
推荐:物体用 R1.5 + GroundingPI + SAM3(827 行),部件用 27B + SAM3(95 行),两条独立跑,合计 922 行 / 约 15 分钟。

每行一个案例,左到右依次是物体 / 部件 R1.5 / 部件 27B。 272 张标注图:物体 100、部件 R1.5 90、部件 27B 82;缺输出的位置显示「无输出」。 每行下方是同位置三条管线的题目,共 1,759 条(物体 1,476 / 部件 R1.5 107 / 27B 176),只展示前 2 条。

显示 100 / 100

数据:runs_100_v2_obj / runs_part_only / runs_part_only_27b,均为 100 图。缩略图为 520px JPEG(q80)。 题目取自各 run 的 conversational_segmentation_prompts.json(物体为 5 个概念目录合计),只展示前 2 条,完整文本见 title。2026-10-29。