评测基准调研 · 图文示例 · 2026 年 10 月 30 日

16 个具身评测基准

每条配官方数据样例或论文配图,并给出发布时间、引用量与题目示例。结论:本批不建议采用。

视角1视角 1
视角2视角 2
视角3视角 3 · 带框
视角4视角 4
原题四视角(编号 QA001),只有视角 3 带彩色框。数据集
01

MV-RoboBench

多视角机器人空间距离判断
2025-10引用 2谷歌学术P0 · 多视角图片不建议接入
  • 原题“给你四个同步视角,只有视角 3 上有彩色框标注。哪个选项对应最短的抓取距离?”
  • 同型“四个视角里,哪个物体离夹爪最近?”
  • 同型“哪个视角中的目标物体没有被遮挡?”
  • 规模共 8 类子任务、约 1700 道题;只有作者自测榜。
原题视频片段(文件名为 MechanicsReasoning100)。数据集
02

CausalPhys

物理因果视频问答
2026-06引用 2谷歌学术P0 · 物理场景视频不建议接入
  • 原题“篮球从木质表面被抬起的首要原因是什么?”
  • 同型“如果把支撑物移走,球会怎样?”(干预)
  • 同型“当木板被抽走时,哪个物体会先动?”
  • 时间2026 年 6 月才公开,晚于所有已发布的模型报告。
EgoTaskQA 数据构成
数据构成示意(论文配图)。论文
03

EgoTaskQA

第一视角任务状态问答
2022-10引用 ≥28开放学术P0.5 · 操作视频不建议接入
  • 原题“如果人在取东西之前没有做那个动作,冰箱的状态会改变吗?”
  • 同型“在打开冰箱之前,这个人做了什么?”(前序动作)
  • 同型“这个人接下来会做什么?”(下一步)
  • 规模四类问题:描述、解释、预测、反事实。
原题视频,要求判断画面中的行为是否符合物理规律。数据集
04

IntPhys 2

直觉物理合理性判断
2025-06引用 —未收录P0.5 · 物理视频不建议接入
  • 原题“按照地球上物体的运动规律,画面中物体的行为是否合理?”
  • 同型“这个场景是否违反了客体永久性?”
  • 同型“两段视频中,哪一段在物理上是可能的?”
  • 形式成对视频二选一,考的是“可能 / 不可能”的判断。
Point-It-Out 样例
原题图片:指向“准备从另一只夹爪接收器件的夹爪”。代码仓库
05

Point-It-Out

可供性点定位
2025-09引用 待核未收录P1 · 图片定位不建议接入
  • 原题“那只准备从另一只夹爪接收器件的夹爪”
  • 同型“水壶的把手”
  • 同型“咖啡机上要按的那个按钮”
  • 输出在图像上点一个坐标,不是选择题。
场景图与任务描述
场景图与任务描述示例(论文配图)。论文
06

MomaGraph-Bench

场景图动作顺序推理
2025-12引用 14谷歌学术P1 · 场景图 / 任务描述不建议接入
  • 原题“完成任务‘打开台灯’的正确动作是什么?”
  • 同型“在台灯亮起之前,哪个物体必须改变状态?”
  • 同型“‘打开抽屉’的前提条件是什么?”
  • 规模294 个房间、1315 个实例。
评测流程
评测流程:问题加情景记忆,交给问答智能体作答,再由大模型判分(项目主页配图)。项目主页
07

OpenEQA

具身场景记忆问答
2024-06引用 ≥76开放学术P1 · 场景图像 / 视频不建议接入
  • 原题“我该怎么做才能凉快下来?”
  • 同型“我把钥匙落在哪里了?”
  • 同型“桌子周围有几把椅子?”
  • 形式以情景记忆为主,官方站点没有排行榜。
Ego4D 数据概览
数据概览(论文配图);自然语言查询是其中一项任务,不是独立数据集。
08

Ego4D NLQ

第一视角自然语言时序定位
2021-10引用 2583谷歌学术 · 主论文P1 · 第一视角视频已失效
  • 示例“我最后一次看到蓝色马克杯是什么时候?”→ 输出起止时间窗
  • 同型“洗完手之后我做了什么?”
  • 同型“收拾行李的时候我把钥匙放在哪了?”
  • 形式要在长视频里定位时间窗,且需走官方盲测服务器提交。
SWITCH 样例
公开子集样例:第一视角操作微波炉面板。数据集
09

SWITCH

具身物理界面操作与恢复
2025-11引用 4谷歌学术P1 · 界面视频仅专用场景
  • 任务“面板当前的状态是什么?”(界面状态识别)
  • 任务“要开灯应该按哪个按钮?”(动作生成)
  • 任务“按下这个开关之后会发生什么变化?”(状态转移)
  • 任务“你如何确认灯真的亮了?”(结果验证)
工业物体样例
工业物体彩色深度图样例(论文配图)。官方网站
10

BOP-Industrial / IPD

工业物体六自由度位姿
2018-09 · 工业组 2025引用 746谷歌学术 · 主论文P2 · 单张 / 多张图片仅专用场景
  • 输入彩色深度图像,加上目标物体的三维模型
  • 输出六自由度位姿(旋转和平移),按平均精度评
  • 示例工业连接器、齿轮、插座、料箱中的零件
  • 形式没有文字题干,是位姿回归任务,视觉语言模型不参与。
(:objects ?apple ?jar ?fridge) (:init (inside ?apple ?fridge)) (:goal (inside ?apple ?jar)) ; 由模拟器判定是否成功,本身没有分数
任务定义示例(行为域定义语言)。代码仓库
11

BDDL

行为域定义语言
2024-03无独立引用归入 BEHAVIOR-1KP2 · 符号任务定义不是题库
  • 示例(:goal (on ?cup ?table)) —— 把杯子放到桌上
  • 示例(:goal (forall (?x) (clean ?x))) —— 把所有东西都清理干净
  • 形式它是 BEHAVIOR 的任务描述格式,不是评测集。
自然语言任务
“把苹果放进冰箱”
→环境状态
目标解释
子目标分解
动作排序
状态转移建模
→形式化目标 + 子目标 + 动作序列 + 状态预测
四个模块分别打分,再取平均
四模块接口示意(依照论文描述绘制)。论文
12

EAI

具身智能体接口评测
2024-10引用 330谷歌学术P2 · 符号环境 / 计划唯一例外
  • 示例任务“把苹果放进冰箱”→ 输出形式化目标、子目标和动作序列
  • 同型任务“清理桌子”→ 拆成拿起、擦拭、放回
  • 规模338 道虚拟家庭任务,加 100 道 BEHAVIOR 任务;需要自己接接口。
仿真场景示例
仿真场景示例(论文配图)。项目主页
13

BEHAVIOR-1K

千项家务仿真任务
2024-03引用 ≥6开放学术P2 · 仿真任务不建议接入
  • 任务摆放装饰:把杂货摆回柜子
  • 任务收集垃圾:把垃圾收集起来丢掉
  • 任务清理桌面:把桌面收拾干净
  • 形式1000 条活动加仿真环境,输出质量分;要跑策略,不是答题。
CLEVRER 样例
数据样例(论文配图)。官方网站
14

CLEVRER

合成视频因果推理
2019-10引用 ≥241开放学术P2 · 合成视频已失效
  • 描述“和球发生碰撞的那个物体是什么颜色?”
  • 解释“这次碰撞的原因是什么?”
  • 预测“接下来会发生什么?”
  • 反事实“如果把球移走,会发生什么?”
深度估计对比
深度估计对比:原图、本方法、对比方法(论文配图)。论文
15

DA3-BENCH

深度与几何重建评测
2025-11引用 854谷歌学术 · 主论文P2 · 单张 / 多张图片唯一例外
  • 输入多视图图像(室内、室外、物体等五类子集)
  • 输出深度图、相机位姿、三维重建结果
  • 指标不同重叠阈值下的曲线下面积,主方法在室内子集为 85.0 和 98.1
  • 形式没有文字题干;室内子集用的是作者重标定版本。
系统总览
系统总览(论文配图)。代码仓库
16

FreeAskWorld

交互式视觉导航与求助
2025-11引用 —未收录P2 · 交互场景不建议接入
  • 示例“最近的出口在哪里?”→ 导航动作
  • 同型“我可以一直走到电梯吗?”
  • 同型“哪条路通向洗手间?”
  • 形式可以主动向人问路;基线方法的成功率全部为零。