多图是否有益实验验证 🔬

从 VST 中观测到有意思的涨点。双维度验证:场景消融(10 个新源场景各自成臂,哪个场景有效)× 题型消融(native MI 9 题型解构 11 臂,哪个题型/形态驱动)。同 p10 配方、六项 full eval、逐 ckpt WebDAV 真值验收;对照 = exact SN6V0710 baseline + native MI。本页不访问任何内网服务。
对照组:原生 native MI 120K(9 题型混合)+ exact SN6V0710 baseline——从 VST 中观测到的涨点:geometry-mc 35.10 → 36.14(s900 峰值 36.76),本页所有曲线以此为基准
原生 VST-ScanNet-多图 🎉
Step 1 · 先验证「多图是否有益」:单图 vs 多图受控对比(RPQA 双图构造)—— 结论:单纯加双图增益有限,多图虽全胜单图但仍未超 baseline
RPQA 单图 vs 多图 🔀
Step 2 · 拆「涨点由谁驱动」:native MI 9 题型解构——组1 相机单题型 ×5 | 组2 三图/视频新形态 ×2 | 组3 对象单题型 ×4—— 结论:B2 视频形态单臂即超混合;相机题是主力,纯对象题≈没加,耦合相机才有效
组1·相机单题型消融 📷
ScanNet · 2图
组2·新几何形态 🎬
ScanNet · 三图/视频
组3·对象单题型消融 🧊
ScanNet · 2图
Step 3 · 验证「场景是否关键」:10 个新源场景各自成臂(室内 / 户外 / 合成)—— 结论:场景选择比题型混合更关键,HyperSim/Taskonomy 单场景即超混合
场景消融 · 新源验证 🗺
场景合并 · Merge 🔗
附 · 相对失败的尝试(Video 系列 | VM-Cap 双格式),留档参考—— 结论:原始视频直接输入走不通;VM-Cap 双形态等效(终值 图版33.29 ≈ 视频版33.67,视频输入不掉分),但该源在 p10 下未超任何对照(B2 视频 36.52 / B1 三图 35.67 / native MI 36.14),判定负结果
归档 · Video 系列 🗄
归档 · VM-Cap 双格式 🗄

原生 VST-ScanNet Multi-Image V1(41K):SN V6 0710 严格复验

蓝线为 0710 新基线,橙线为 0710 + 10% VST 多图组。两组使用相同的 iter216 起点、训练参数和 no-thinking 评测配置;多图组加入 10% VST-ScanNet MI。
真实训练样本 ×6 (V1 41K core 与 V2.1-120K 同分布,样本取自 120K 前段 shard;Q/A 中英对照)
Q1:Images are acquired in a continuous stream from a first-person perspective. If the first photo was taken from my spot, where is the second camera relative to that? Options: A. front B. uncertain C. right D. back left Answer the question using a single word or phrase.
问题1:图像是以第一人称视角连续采集的。如果第一张照片是在我所在的位置拍摄的,那么第二台相机相对于那个位置在哪里?选项: A. 前方 B. 不确定 C. 右方 D. 左后方 请用一个词或短语回答问题。
A1:A. front
答案1:A. 前方
Q2:Given that door (in frame 2) is on the back side of sign (in frame 1), what is the direction of toy (in frame 2) relative to sign (in frame 1)? Options: A. back-right, B. back-left, C. left, D. front-left Please select the correct answer from the options above.
问题2:已知门(在第 2 帧中)位于标志(在第 1 帧中)的后方,请问玩具(在第 2 帧中)相对于标志(在第 1 帧中)的方向是什么?选项:A. 右后方,B. 左后方,C. 左侧,D. 左前方。请从以上选项中选择正确答案。
A2:A. back-right
答案2:A. 右后方
Q3:Given that bottle (indicated by the red point) is east of mouse (highlighted at the blue point), what is the direction of socket (shown by the gold point) relative to mouse (highlighted at the blue point)? Options: A. southwest B. northwest C. west D. southeast Answer the question using a single word or phrase.
问题3:已知瓶子(由红点标出)位于鼠标(由蓝点标出)的东面,那么插座(由金点显示)相对于鼠标(由蓝点标出)的方向是什么?选项: A. 西南 B. 西北 C. 西面 D. 东南 请用一个词或短语回答问题。
A3:B. northwest
答案3:B. 西北
Q4:Each frame is taken in turn, providing a continuous first-person perspective. How does the camera's location change through space? Options: A. rightward and upward B. rightward C. leftward D. leftward and downward Please select the correct answer from the options above.
问题4:每一帧按顺序拍摄,提供连续的第一人称视角。摄像机的位置在空间中是如何变化的?选项: A. 向右且向上 B. 向右 C. 向左 D. 向左且向下 请从以上选项中选择正确答案。
A4:A. rightward and upward
答案4:A. 向右且向上
Q5:A point is highlighted with a cyan circle (marked 'REF') in image one. After adjusting the camera, image two presents multiple cyan-circled points labeled 'A, B, C, D'. Which matches the original point? A point-A B point-B C point-C D point-D
问题5:图 1 中用青色圆圈(标记为“REF”)标出了一个点。在调整相机角度后,图 2 显示了多个标有“A、B、C、D”的青色圆圈点。请问哪一个点与原始点相匹配? A 点-A B 点-B C 点-C D 点-D
A5:C point-C
答案5:C 点-C
Q6:If, at the camera position of the first image, the person considers the direction to ledge (indicated by the blue point) as southeast, what direction is curtain (positioned at the orange point) relative to the person? Options: A. east, B. northeast, C. west, D. south Answer the question using a single word or phrase.
问题6:如果在第一张图像的相机位置,某人将指向窗台(由蓝点标出)的方向视为东南方向,那么窗帘(位于橙点处)相对于此人是在什么方向?选项:A. 东,B. 东北,C. 西,D. 南。请用一个词或短语回答问题。
A6:A. east
答案6:A. 东

RPQA 单图 vs 多图:p10 数据验证 vs SN6V0710 Baseline

唯一变量 = 第二张图 · 蓝=单图 橙=多图 · 灰虚线 = SN6V0710 baseline(无实验数据) 已完成至 step 1000

最终结果:step 1000 三项宏平均,单图 34.12%、多图 34.72%、SN6V0710 baseline 34.62%。多图较单图 +0.60 个百分点,主要来自 NaturalPerception;差距小于已知单步噪声,不能视为显著优势。3bench 是通用几何感知而非 RPQA 关系题本身;单图 B 类仍存在“题目引用缺失 Image 2”的 control caveat。

SolidGeoPerceptionCircularV2

Perception-geometry-mc-circular-v1

NaturalPerceptionCircularV3

RPQA 双图构造真实样本 ×6 (A/B/C 各 2 条,来自 qianxun_k26_v1 release;Q/A 中英对照)
Q1:In the 2D image projection, using the current camera's straight-ahead direction as 0 degrees, what horizontal bearing is the first grinding wheel from right to left closest to? Options: A. about 35 degrees to the right of straight ahead B. about 35 degrees to the left of straight ahead C. about 20 degrees to the right of straight ahead D. about 20 degrees to the left of straight ahead
问题1:在二维图像投影中,以当前摄像机的正前方方向为 0 度,从右往左数第一个砂轮最接近哪个水平方位角? 选项: A. 正前方右侧约 35 度 B. 正前方左侧约 35 度 C. 正前方右侧约 20 度 D. 正前方左侧约 20 度
A1:C
答案1:C
Q2:In the image projection, what is the approximate visible-size ratio of the first ring from left to right to the second ring from left to right? Options: A. about 0.8x B. about 1.1x C. about 1.4x D. about 1.7x
问题2:在图像投影中,从左往右数第一个圆环与第二个圆环的视觉大小比例大约是多少? 选项: A. 大约 0.8 倍 B. 大约 1.1 倍 C. 大约 1.4 倍 D. 大约 1.7 倍
A2:B
答案2:B
Q3:In the 2D image projection, using the current camera's straight-ahead direction as 0 degrees, what horizontal bearing is the object shown in Image 2 closest to? Options: A. about 35 degrees to the right of straight ahead B. about 35 degrees to the left of straight ahead C. about 20 degrees to the right of straight ahead D. about 20 degrees to the left of straight ahead
问题3:在二维图像投影中,以当前摄像机的正前方方向为 0 度,图 2 中显示的物体最接近哪个水平方位角? 选项: A. 正前方右侧约 35 度 B. 正前方左侧约 35 度 C. 正前方右侧约 20 度 D. 正前方左侧约 20 度
A3:C
答案3:C
Q4:In the image projection, what is the approximate visible-size ratio of the object shown in Image 2 to the second ring from left to right? Options: A. about 0.8x B. about 1.1x C. about 1.4x D. about 1.7x
问题4:在图像投影中,图 2 所示物体与从左往右数第二个圆环的视觉大小比例大约是多少? 选项: A. 大约 0.8 倍 B. 大约 1.1 倍 C. 大约 1.4 倍 D. 大约 1.7 倍
A4:B
答案4:B
Q5:In the image projection, what is the approximate visible-size ratio of the first ring from left to right to the second ring from left to right? Options: A. about 0.8x B. about 1.1x C. about 1.4x D. about 1.7x
问题5:在图像投影中,从左往右数第一个圆环与第二个圆环的视觉大小比例大约是多少? 选项: A. 大约 0.8 倍 B. 大约 1.1 倍 C. 大约 1.4 倍 D. 大约 1.7 倍
A5:B
答案5:B
Q6:About how many times is the visible size of the first person from right to left compared with the second person from right to left? Options: A. about 9417 px B. about 15618 px C. about 13551 px D. about 11484 px
问题6:从右往左数第一个人的可见尺寸大约是从右往左数第二个人的多少倍? 选项: A. 大约 9417 像素 B. 大约 15618 像素 C. 大约 13551 像素 D. 大约 11484 像素
A6:D
答案6:D