02物体管线
物体管线的 4 个 prompt
核心思路：先挑「值得被指代的区域」，再验证、再出题。4 步里 3 步送 2 张（②③④），只有 ① 送 1 张。
①
看图说话
REGION_DENSE_CAPTION_META_PROMPT干什么：让模型先推理、再输出 5–7 个高价值且互不重复的区域。
输入 1 张
① 原图
这一步只送一张图：没有框、没有 mask、没有任何叠加。caption、验区、出题、验题全部基于这个尺寸的原图。
系统元提示：区域级稠密描述（绝对指代）
任务
给定一张图，挑出 5–7 个高价值、互不重复的区域，用自然对话的方式给它们打标签。
阶段一 —— 先推理
在 <reasoning> 里简要回答：
- 场景类型（人像 / 室内 / 室外 / 产品图等）
- 5–7 个最显著的物体或区域
- 空间布局（前景 / 中景 / 背景）
- 对候选区域评估：可指代性、能构成关系的潜力、是否需要消歧、分割是否清晰
- 选择结果：选了哪 5–7 个、为什么、能支撑什么提问
阶段二 —— 再输出
在 <output> 里列出 5–7 行，严格格式：
- 索引 0..N-1，连续
- 一行一个：
[<索引>: <标签>] - 标签 = 基础类别 + 区分性属性 + 粗略位置 + 空间关系
- 每个标签 ≤15 词；绝对化表达，自成一体（不用代词、不用指代）
标注规则
- 基础类别：常用名词（人、椅子、笔记本、窗、树、车、墙、地板、天空等）
- 属性：颜色 / 材质 / 状态 / 图案 / 透明度，有帮助时才写
- 位置：九宫格 + 前景 / 中景 / 背景
- 关系：在…上面 / 下面 / 旁边 / 后面 / 前面 / 里面 / 紧挨着 <类别>
- 用词一致；除刻意合并同类外一律用单数
- 部件：写成「<部件> of <父物体类别>」，父物体必须在前文出现过
- 允许 stuff 区域（天空、墙、地板、道路、草地、水面），前提是显著
- 优先清晰、大于 50×50 像素、边界明确的区域；跳过小于 24×24 的杂物、重叠超过 80%、模糊块
- 质量优先于数量；简单场景里少几个也可以
- 不要编造物体，不要写置信度
选择策略
- 覆盖主体对象和可交互物体
- 保证空间与语义上的多样性
- 选出来的区域要能支撑它们之间的自然关系
- 只有当一组东西被当作一个整体指代时才合并（例如双显示器）
最终回答格式
<reasoning>
[简要分析与选择理由]
</reasoning>
<output>
[0: 区域描述]
[1: 区域描述]
...
</output>
示例
<reasoning>
室内工作台；显著的：人（前景）、笔记本、杯子、木桌、窗（背景）。
选它们因为可指代、彼此有关系（在桌上、在人后面）。
</reasoning>
<output>
[0: 人, 蓝色衬衫, 中央前景]
[1: 笔记本, 银色, 在桌上]
[2: 杯子, 白色陶瓷, 桌子右侧]
[3: 桌子, 木质表面, 中景]
[4: 窗, 玻璃, 人后方的背景]
</output>
为什么允许 stuff：墙、地板、桌面这些也是合法的指代对象（"把桌上的东西拿起来"）。
代价是 100 图里会切出大量大面积背景区域，也是低 IoU 样本的主要来源。
②
验区
SEG_PROMPT_VERIFICATION_PROMPT干什么：一次发两张图（① 框、无 mask ／ ② 框 + mask）加一句指代表达，判断这个 mask 是不是这句话说的东西。
输入 2 张
① 框（无 mask）→② 框 + mask 高亮
两张一起送进模型
→
模型对比「有没有涂色」来判断这块区域对不对：两张图除了「杯子被涂红」这一处，其余完全相同。
第 1 张不是原图——它已经带了绿框和压暗，只是没有 mask 填充，这正是它和部件验区（第 1 张纯原图）不同的地方。
你在验证一个 mask 是否正确地标识了图像中某个指代表达所描述的对象。
你的任务
给定一张图、一个指代表达，以及可选的 mask（用框标出），判断这个 mask 是否正确。
规则
如果给了 mask：以下三条全部满足才接受。
- mask 区域对应该表达所描述的目标。
- mask 没有包含该表达之外的东西。mask 应覆盖最显著、最主要的匹配实例——如果图中还有别的未标出的匹配区域，只要 mask 包含了最明显的那几个，就接受。
- 这个表达是图中某个东西的合理说法。
如果没给 mask：只有当图中确实没有任何东西匹配该表达时才接受。
重要
对自然的指代表达要宽容。人们会用各种方式描述事物。重点看 mask 是否匹配描述，而不是描述本身是否完美。
输出
{"accept": true 或 false, "reason": "简要说明"}
「要宽容」这句很关键：它直接决定区域接受率。太严会把正确区域拒掉，太松会把假阳性放进来。
100 图上这条的接受率是 64.5%。
③
五类出题
ENTITIES / SPATIAL / RELATIONS / AFFORDANCES / PHYSICS干什么：对每个合格区域，按 5 个概念维度各问一次。五个模板骨架几乎一样，只有主题不同。
输入 2 张
① 原图→② 全区域编号叠加
两张一起送进模型
→
all_regions_colored.png）：每个区域一种颜色 + 0..N 编号模型要在一张图上比较哪些区域满足同一条件：原图给它看真实观感，编号叠加图给它看候选集合和编号。
两图缺一不可——只有叠加图会把涂色当成物体颜色，只有原图则没有编号可引用。
共用骨架
你是一个专家级 AI，任务是生成有难度、抽象的分割题。
你会拿到：一张图、同一张图的 mask 叠加编号版、以及一份稠密描述（可用 mask 的编号列表）。
任务
设计最多 3 条有挑战性的分割题。每条都必须靠视觉检查，把某一部分区域从其它区域里区分出来。
核心原则：上下文合理性规则（最重要）
题目必须对整个画面场景都成立，不能只对那几个 mask 成立。
生成的题只能适用于目标 mask 区域，不能适用于图中任何未标出的区域。
- 要避免的问题：出的题在未标出区域里有更好的答案。
- 反例：图里有桌子（未标出）和椅子（已标出）。出"分割一个可以放饮料的表面"却返回椅子 → 无效。
- 正例：同样的场景，椅子是木的、桌子是金属的，出"分割木质家具" → 有效。
硬约束一：抽象、非平凡
题目必须需要视觉辨别多个候选区域，不能只读描述就能答。
- 有效："分割戴帽子的人"（要逐个检查）
- 无效："分割那辆车"（只有一辆车时就是查表）
- 检验标准：用户是否必须视觉比较多个区域才能找到答案？
硬约束二：真子集规则
candidates：从描述里挑出的、用户可能会考虑的候选区域satisfying：视觉检查后真正满足题目条件的区域satisfying必须是candidates的真子集（不能完全相同）。空集合法。
硬约束三：格式
- 题目：最多 10 个词，以动作动词开头（"Segment…"、"Identify…"）
- 概念族：从下面列表里选最多 3 个
- 只输出 JSON，不要解释、不要 markdown 围栏
| 模板 | 题目要考察什么 | 额外强调 |
|---|---|---|
| 实体 ENTITIES | 实例、类别、群体、异常个体 | 按视觉属性（材质、部件、状态、纹理、成组）分组，而不是模糊的功能暗示 |
| 空间 SPATIAL | 排布、位置、包含、远近 | 最高级说法（最近、最大、最左）必须限制在已标出的集合内，例如"最左边的杯子"，不能说"最近的物体" |
| 关系 RELATIONS | 动作、状态、事件中的角色 | 锚定在可视觉验证的交互与状态上，避免高层意图被未标出的物体推翻 |
| 可供性 AFFORDANCES | 功能属性、可用性、潜在用途 | 找唯一适用于该 mask 的功能条件，避免和未标出的更合适物体冲突 |
| 物理 PHYSICS | 稳定性、容纳、危险、物理属性 | 只对可验证的物理状态（不稳、会洒、锋利）出题，不做被推翻的全局断言 |
v2 新增（在请求里，不在模板里）：每次出题都会拼上一句
“第二张图上的彩色蒙版是标注，不是物体的颜色；颜色、材质、纹理请从第一张未标注原图读取。”
改的是
“第二张图上的彩色蒙版是标注，不是物体的颜色；颜色、材质、纹理请从第一张未标注原图读取。”
改的是
prompt_backends.py 的 concept_prompts()，一处覆盖 5 类 + PARTS。尚未跑批验证。
实测效果：466 个合格区域 → 1491 条题，平均每区域 3.2 道。
这是五类分开问的直接结果；只问一次就只有 0.47 道（部件管线就是这样）。
④
验题
复用 ② 的提示词干什么：一题一验。它直接复用 ② 的验区提示词，只是把两张图换成「原图 + 单题高亮图」、把指代表达换成题目文本。
输入 2 张
① 原图→② 单题高亮
两张一起送进模型
→
generated_prompts_viz/NN_prompt.png）：只涂这道题指向的区域，顶部印题目原文只高亮这道题指向的那一块，判断「只看这块能不能回答」：原图用来确认这块在整张图里到底是什么，高亮图用来确认答案是否只落在这一块上。
判断逻辑完全一样：这个被高亮的区域，能不能回答这道题。答不出来就是废题。
100 图上：1491 条题 → 961 条通过（64.5%）→ 导出 827 行。
