← 科研空间 首页
arXiv 2602.07055 · ICLR 2026 Northwestern × Stanford × UW × Cornell paper2html 深读 · 2026-10-23

Theory of Space: Can Foundation Models Construct Spatial Beliefs through Active Exploration?

会答题的模型不等于有空间感。这个基准让六个前沿模型在种子绑定的平行文本/视觉世界里自主探索、外化认知地图,再接受"物体被偷偷挪走"的信念修正考验——最深的裂缝不是看不清,而是看见了却不肯改。

阅读基线:arXiv:2602.07055(ICLR 2026 会议版)官方 TeX 源码与 PDF;全部插图取自官方 figure PDF。外部事实(官方代码仓库、项目网站、引用网络、作者公开主页)已于 2026-10-23 检索核验并在引用列表逐条标注来源类型。文中所有数据均为论文报告,本页未独立复现论文实验;人类基线仅 3 名被试,属论文自述口径。

46.0 vs 96.4视觉世界主动探索均分:最强模型 GPT-5.2 vs 人类(20 步预算,%);Gemini-3 Pro 57.3,仍未及人类三分之二
57.1 → 46.0GPT-5.2 视觉:被动看脚本 57.1 → 主动自己探索 46.0——把探索权交给模型,成绩反而更低
68.9%朝向信念惯性(GPT-5.2 视觉):亲眼看过新状态后,仍按旧朝向作答的比例;文本世界仅 5.5%

先讲一个故事

发展心理学有一个经典实验:Sally 把球放进篮子后离开房间,Anne 趁机把球挪进盒子。三岁以下的孩子会说 Sally 回来会去盒子找——他们知道球在哪,却无法理解"Sally 的信念还停在旧位置"。这个测试叫错误信念测试(false belief test),通过它被认为是心智理论(Theory of Mind)出现的标志。

现在把这个测试原样搬给前沿模型,只不过这次被测的不是"模型能否理解别人的过时信念",而是模型自己会不会抱着过时信念不放:让模型把三个房间、十二个物体的位置和朝向探索清楚、画出地图;然后趁它不注意,把四个物体挪了位置、转了朝向;再让它回到现场重新看。

论文的结果是:GPT-5.2 在文本世界里能认出 98% 的变化;但在视觉世界里,朝向识别率只有 14.3%——它在亲眼看过新状态之后,仍然按旧的朝向作答。这个系统性偏向旧信念的现象,论文称为信念惯性(belief inertia),视觉世界的朝向惯性高达 68.9%。模型看到了,但没改。

这只是 ToS 基准五个测量维度中的一个。这个基准真正的野心藏在标题里:Theory of Space,与 Theory of Mind 对偶——不是问"模型会不会做题",而是问"模型能不能像动物一样,在自主移动中构建、维护、修正一张关于空间的内部地图"。

Theory of Space 框架图:构建、修正、利用三个操作,平行文本与视觉世界,认知地图与不确定性探测。
图:ToS 框架总览(论文图)。agent 在部分可观测的多房间环境中自主探索(construct),环境扰动后修正信念(revise),在下游空间任务中利用信念(exploit);文本世界与视觉世界以相同场景布局并行生成,用于隔离感知与推理失败。

故事与技术如何对应

故事里每个心理学概念,在 benchmark 里都有一个可操作的测量对应物:

故事里的概念 ToS 的测量对应 指标
"探索清楚、画出地图" D1 探索效率 + D2 认知地图外化 逐步信息增益 \(E(h_t)\);位置/朝向正确率
"趁它不注意挪走四个物体" D4 信念修正任务(\(k{=}4\)) 识别 F1、冗余步数、Belief Inertia
"看不见的地方它以为在哪" D3 不确定性图探测 候选点选择的 F1
"做题" D5 下游利用:9 个空间任务 开放式答案得分
"文本 vs 画面" 平行世界:同一布局、同一随机种子 两世界成绩差 = 感知侧裂缝

论文的贡献不是某个新模型,而是这套把"信念"变成可测对象的范式:不只量终点成绩,还逐步量地图、量不确定性、量修正后的残留偏差。后面的结果几乎全部由这套测量范式产出。

先给结论

如果你只有 60 秒,读这六条(全部为论文报告数据,非本页复现):

  1. 主动探索是瓶颈,不是红利。同看脚本(passive)时 GPT-5.2 视觉 57.1、文本 90.4;换成自己探索(active)掉到 46.0 / 72.0。更刺眼的对照:沿 Scout 代理约 9 步的短日志答题,GPT-5.2 文本拿 83.9、Gemini-3 Pro 拿 86.7——比它们自己探索的成绩更高、步数更少。替模型选路,模型反而更强。
  2. 模态鸿沟在感知侧,且朝向最疼。同一布局下,文本世界 72.0 / 81.5 vs 视觉世界 46.0 / 57.3(GPT-5.2 / Gemini-3 Pro)。视觉朝向正确率仅 20.2 / 32.2,接近瞎猜;文本世界是 91.0 / 92.5。
  3. 地图会漂移:看对了,然后改错。视觉世界里 GPT-5.2 对已见物体的即时感知位置正确率 72.4,但最终地图只剩 42.0——正确信息在后续步骤中被更差的猜测覆盖(belief drift)。文本世界感知 100 / 99.9,最终 75.1 / 75.5,同样有漂移但轻得多。
  4. 看见了却不肯改。修正任务中视觉朝向惯性 68.9%(GPT-5.2)/ 51.1%(Gemini-3 Pro),文本世界只有 5.5 / 7.9%。GPT-5.2 视觉平均 13.06 步中 6.20 步是"已经看完了还在转"的冗余。
  5. 探测本身经过了效度检验。喂给模型完美地图(oracle),两模型两世界都拿 ≈95%——表征充分,瓶颈在构建过程;地图正确率与下游成绩显著相关(Pearson \(r\) 0.42–0.65,均 \(p<.001\))。但强迫先出图再答题会轻微掉分:外化的地图是有损投影,测的是下界。
  6. 人类参照仍很遥远。人类在视觉世界 96.4 分、9.8 步;最强模型 57.3 分、13.6 步。人类基线只有 3 名被试,这个数字是方向性的,不是统计严谨的。

研究动机

问题的起点是一个评测范式的空档:空间推理要么" disembodied",要么"任务驱动",就是没有"为构建空间信念而探索"。

两条已有路线各自的盲区

被动空间推理基准(文本关系问答、单图方向判断、多视角/视频理解,包括以认知地图为卖点的 VSI-Bench 与 MindCube)都让模型在预先收集好的轨迹上答题——观察序列不是模型自己选的,探索能力从未被测量。任务驱动的主动基准(具身问答 EQA/IQA、指令跟随 ALFRED、导航 VLN、引用 grounding、操作 manipulation)确实让模型动起来,但以任务成败计分,把"探索效率"和"任务执行"搅在同一个数字里:模型可以靠碰运气撞对目标,也可以因为探索低效而失败——两种失败无法区分,学到的空间表征也因此脆弱。EXCALIBUR 同样做任务无关探索,但用 RL 训练策略,把地图隐式编码进了权重,且训练目标可能泄漏。

Theory of Space:把"空间信念"立为测量对象

论文的对偶命名是有野心的:Theory of Mind 问"模型能否建模他人的隐藏心理状态",Theory of Space 问"模型能否建模世界的隐藏空间结构"。后者在认知科学里有深厚根基:Tolman 1948 年提出动物用认知地图而非刺激-反应导航;Held 1963 与 Chrastil 2012/2013 的系列工作表明主动移动中的探索显著优于被动观看——这正是基准设计的理论假设来源。Siegel & White 1975 与 Montello 1998 的 route/survey 知识分层,则直接体现在任务套件的两级设计里。

形式化上,空间信念是一个随观察历史 \(h_t\) 演化的分布,基准要求模型完成三个操作:构建(探索中不断逼近真实后验)、修正(环境变化后丢弃过期先验)、利用(基于信念而非当前观察答题)。每个操作都有对应指标——这是"任务无关探索"得以量化的关键:探索不为某个任务服务,只为降低信念的不确定性。

平行世界:把感知从推理里剥出来

方法上最聪明的一步是种子绑定:100 个评测场景的 ID 直接作为随机种子,同一 ID 在文本世界和视觉世界生成位相同布局。文本观察是离散的自我中心符号(方向 bin、距离 bin),感知几乎无损;视觉观察是 384×384 渲染图,感知本身要靠模型从像素里挣。两世界之差,就是感知这条通道单独值多少分——一个所有视觉空间基准都想要、但极少做到干净的控制变量。

主动探索与被动观察的对比:探索阶段与评测阶段的流程差异及成绩散点。
图:主动探索 vs 被动观察(论文图)。主动:模型自己决定每步动作、自主终止,随后答题;被动:观察序列来自脚本代理的探索日志。同一模型在两种设定下的成绩差,就是"自己探索"这件事本身的代价。

数学表示及建模

四组公式:信念的三个操作、探索的信息增益、认知地图的评分、以及惯性度量。全部来自论文正文。

空间信念与三个操作

\[ B_t(S) \approx P(S \mid h_t) \] \[ \text{construct: } \min_{B}\; D_{\mathrm{KL}}\!\big(B(S)\,\big\|\,P(S \mid h_t)\big),\qquad \text{revise: } \min_{B'}\; D_{\mathrm{KL}}\!\big(B'(S)\,\big\|\,P(S' \mid h_t \cup h_{\Delta})\big) \] \[ \text{exploit: } \max_{\pi}\; J\big(\pi(\cdot \mid B_t),\, T\big) \]

\(S\) 是环境状态(物体位置与朝向),\(h_t\) 是到 \(t\) 为止的观察-动作历史,\(h_\Delta\) 是扰动后的新证据,\(T\) 是下游任务。构建=逼近后验,修正=在证据更新后最小化散度(过期先验应当被覆盖),利用=基于信念选策略。ToS 的全部指标都在量这三个操作各自做得多差。

探索效率:约束传播下的信息增益

\[ E(h_t) = 1 - \frac{\sum_{i=1}^{N} \log_2 \max\big(1,\, C_i(h_t)\big)}{N \log_2 M} \]

\(C_i(h_t)\) 是物体 \(i\) 的可行位置数:基准用 AC-3 弧一致性算法维护每个物体的候选格集合——初始为整张 \(20\times20\) 网格(\(M\) 个格),每条新观察编译为约束(自我中心方向/距离 bin、房间可见性、物体互斥),传播剪枝到不动点。\(E=0\) 意味着一无所知,\(E=1\) 意味着全部物体的位置都被钉死。视觉世界没有符号观察,改用节点覆盖作代理度量——两世界的信息增益口径不同,跨模态比较时需要记住这一点。

认知地图评分

\[ \text{pos.acc} = \frac{K}{N}\, e^{-\mathrm{RMSE}/L},\qquad \text{composite} = \tfrac{1}{3}\big(\text{pos} + \text{direction} + \text{facing}\big) \]

位置正确率按"命中物体占比 × 距离误差的指数衰减"计(\(L\) 为地图尺度),朝向与相对方向单独计分后取均值。关键设计:每一步探索后都探测一次,所以能看到信念随时间的演化曲线,而不只是终点快照。

信念惯性:修正任务的度量

\[ s_i^{\mathrm{pos}} = \underbrace{\frac{\mathbf{e}_i^{\top} \mathbf{v}_i}{\|\mathbf{e}_i\|\,\|\mathbf{v}_i\| + \epsilon}}_{\text{残差与旧先验同向?}} \cdot \underbrace{\exp\!\left(-\frac{\|\mathbf{b}_i^{\mathrm{new}} - \mathbf{b}_i^{\mathrm{old}}\|^2}{2\sigma^2}\right)}_{\text{信念没挪多远时才计权}} ,\qquad s_i^{\mathrm{ori}} = \mathds{1}\!\left(\phi_i^{\mathrm{new}} = \phi_i^{\mathrm{old}}\right) \]

\(\mathbf{v}_i\) 指向旧先验相对新真值的偏移,\(\mathbf{e}_i\) 是修正后的残差;二者方向对齐(余弦大)且信念没挪远(高斯权重),才计一次"被旧先验吸住"。噪声尺度 \(\sigma\) 取重观测中未变物体的定位 RMS 误差。无偏更新下 \(\mathbb{E}[s_i]\approx 0\);正值即系统性偏向旧信念。朝向惯性则简单粗暴:新答案等于旧朝向且不等于新真值,记一次。这两条公式是"看见了却不肯改"的数学化。

方法:benchmark 设计

一个 Gym 式接口:程序化生成多房间场景,agent 在 20 步预算内自主探索,然后接受五个维度的测量。

环境与动作空间

场景在 \(N{\times}M\) 网格上程序化生成:房间邻接图限制为树拓扑(连通无环),\(n\) 个命名室内物体各有整数坐标与东南西北朝向,agent 出生位姿随机,但房间总数与物体名单预先告知。主设置为 3 个相连的 6×6 房间、每房 4 物。动作四个:

动作 语义 费用
Goto(object) 移动到可见物体旁 1
Rotate(90/180/270) 转身 1
Observe 获取当前 90° 视锥内的观察 1
Query(object) 直接查物体绝对坐标 2

注意效率的定义藏在费用里:游戏动作(Goto/Rotate/Observe)各计 1 步,Query 计 2——模型几乎不用 Query,所以"步数"实际就是探索代价。主实验上限 20 步。

两个世界的观察形式

文本世界:每步返回当前房间内 90° 前向视锥中的物体快照——8 个绝对方向标签(N/NE/E/…/NW,各 45° 扇区)、5 个自我中心 FOV 标签(front-left / front-slight-left / front / …,各 22.5°)、6 个距离 bin(same / near / mid / slightly far / far / very far,几何分段),加上物体身份与朝向(可判定时)。可见性以房间为界;站在门口时门洞透明,可同时看到两房。视觉世界:同布局的 384×384 渲染图(ThreeDWorld + Objaverse,293 个 3D 模型、6 大类 37 子类,同场景内每类型至多一次),prompt 里附两张标定图:距离标定(不同距离的圆柱参照)与朝向标定(有朝向物体的正/侧视图)。论文测试过更高分辨率:无增益。

90 度 FOV 的角度与距离 bin 划分示意图。
图:FOV 离散化(论文附录图)。90° 前向视锥划分为角度 bin 与距离 bin,构成文本世界的观察词汇表。正文采用六档距离离散化;附录此图注的三档表述与正文不完全一致,本页按正文为准。

任务套件:9 个任务,两级两组

层级 任务 静/动 方向 考什么
Route(路线知识) direction 静 前向 两物体间方向
perspective-taking 静 前向 换位后的方向关系
perceptual decision 静 后向 从观察判物体相对位置
action→view 动 后向 给定动作序列推终态视野
view→action 动 前向 给定初终观察推动作
Survey(测量知识) allocentric map 静 后向 非自我中心布局关系
mental rotation 静 后向 心理旋转后的布局
locate→view 动 前向 坐标 → 视觉定位
view→locate 动 前向 观察 → 坐标估计

全部采用开放式答案(方位词、坐标、判断词),而非选择题——降低知识泄漏与猜测运气。Route 考"沿路径的顺序与转向知识",Survey 考"俯视图式的全局度量关系";前向(F)任务考察探索中已获取的信息,后向(B)任务需要额外推理。

九个评测任务的分组结构图。
图:任务套件结构(论文图)。Route 五任务 + Survey 四任务,按静态/动态与前向/后向分组,覆盖从局部路线知识到全局测量知识的层级。
各任务的开放式问题格式与答案样式示例。
图:任务格式示例(论文附录图)。每类任务的输入上下文与开放式答案格式;视觉设定下问题中的文字场景描述替换为渲染观察图。

主动 vs 被动,与两个脚本代理

主动设定:模型自己规划每步、自己决定何时停止(上限 20 步),随后答题。被动设定:观察序列来自脚本代理的探索日志,模型只看日志答题。两个代理提供强而可复现的探索基线:Scout(视觉世界用)——每到一处先做 360° 环扫(四次 Rotate+Observe),发现门就进、进门再扫,"访问-环扫-推进"直到覆盖全部房间,约 9 步达目标覆盖;Strategist(文本世界用)——先环扫登记可见物,然后按 AC-3 域大小挑不确定性最大的物体、移动到最能约束它的视角、再转到能裁决最多未定方向关系的朝向去观察,逐房收敛到全域单点。这两个代理后面会变成一把很锋利的尺子:模型自己探索,还比不过照着 9 步脚本答题。

实验设计

六个前沿模型 + 人类,在两个世界各答 2,700 个问题;关键对照有四组。

被试

闭源三模型(temperature 1,max 32,768 token):GPT-5.2、Gemini-3 Pro、Claude-4.5 Sonnet。开源三模型(temperature 0):GLM-4.6V、Qwen3-VL(235B-A22B-Thinking)、InternVL-3.5(241B-A28B;视觉世界缺席——其 API 最多支持 10 张图)。人类基线:3 名被试,各做 5 个文本 + 5 个视觉场景。

规模与可复现性

100 个场景(ID 0–99 即随机种子),每场景每任务 3 问 × 9 任务 = 2,700 问/设定;种子绑定保证文本与视觉世界位相同布局、逐位可复现。评分:关系类任务 0.5+0.5 的方向/距离分;坐标类任务按坐标相似度。

四组关键对照

信念测量在 GPT-5.2 与 Gemini-3 Pro 上进行:探索中每步外化认知地图(JSON),再做 oracle 地图对照、先图后答对照、相关性检验三个效度检查。

实验结果

按论文顺序:两张主表 → 主动-被动差距 → 探索模式与信息增益 → 信念探测 → 信念修正。

主动探索主表:全线低于被动,无一例外

方法 视觉世界(主动) 文本世界(主动)
步数 ↓ 均分 % ↑ 步数 ↓ 均分 % ↑
GPT-5.2 17.2 46.0 11.4 72.0
Gemini-3 Pro 13.6 57.3 13.5 81.5
Claude-4.5 Sonnet 19.6 29.6 18.7 65.9
GLM-4.6V 15.0 14.4 14.5 16.8
InternVL-3.5 — — 15.0 30.6
Qwen3-VL 16.3 21.3 14.1 36.8
人类 9.8 96.4 10.8 86.7
人类(带工具) 11.1 99.0 12.8 99.0

InternVL-3.5 视觉缺席:API 最多支持 10 张输入图。人类"带工具"指可绘制草图/做笔记。

被动观察:把探索权拿走,成绩普遍上升

方法 视觉均分 % 文本均分 %
GPT-5.2 57.1 90.4
Gemini-3 Pro 60.5 86.5
Claude-4.5 Sonnet 43.1 73.6
GLM-4.6V 16.7 23.4
InternVL-3.5 — 37.4
Qwen3-VL 24.9 45.6

主动-被动差距:GPT-5.2 视觉 −11.1、文本 −18.4;Gemini-3 Pro 视觉 −3.2、文本 −5.0。Gemini 对探索方式远不敏感(后面步数分析会看到原因:它的探索模式接近脚本代理)。GPT-5.2 文本 90.4 说明给定好的观察序列,推理能力足够强——主动掉到 72.0 恰恰是探索自己拖的后腿。

最刺眼的对照:9 步 Scout 日志反超 20 步自主探索

把 Scout 约 9 步的探索日志给模型看、再答题(步数预算同步压到 9):文本世界 GPT-5.2 拿 83.9、Gemini-3 Pro 拿 86.7——高于两者各自 20 步自主探索的 72.0 与 81.5。结论直白:模型缺的不是"从观察建图"的能力(这个能力在被动设定下很强),而是探索策略本身——不知道该看哪里、何时该停。视觉世界的被动参照用的是文本 Scout 的结构化日志,这一点在比较时需要注意口径。

多房间:越复杂,探索债越重

设定 GPT-5.2 Gemini-3 Pro
被动 主动 步数 被动 主动 步数
文本世界
2 房间 92.3 77.8 6.2 86.7 80.6 6.2
3 房间(主设置) 90.4 72.0 11.4 86.5 81.5 13.5
4 房间 86.5 66.0 16.4 81.2 77.7 19.7
视觉世界
2 房间 59.3 51.5 10.8 58.3 57.8 6.6
3 房间(主设置) 57.1 46.0 17.2 60.5 57.3 13.6
4 房间 52.6 40.3 23.2 56.2 51.5 19.7

房间数从 2 涨到 4:GPT-5.2 文本主动-被动差距从 −14.5 拉大到 −20.5,视觉从 −7.8 拉大到 −12.3。另一个值得单独指出的现象:Gemini-3 Pro 在视觉世界需要的步数几乎与文本世界相同(3 房 13.6 vs 13.5)——它的探索对感知模态不敏感,这解释了它为何主动-被动差距最小。

探索模式:两种失败的形状

论文的定性分析给出两种典型模式。GPT-5.2:门优先、跳跃式——发现新门就冲进去,旧房间常常留下一圈没扫完的死角,漏登记物体,路径来回重复;信息增益曲线快速爬升后平台化,并有提前终止倾向——早期抢到的信息多,后期步数几乎不再换信息。Gemini-3 Pro:rotate-and-scan——行为接近 Scout 的"原地环扫+系统推进",增益曲线持续上升,但单步选择保守。没有模型达到 Scout 的目标覆盖效率。

各模型在文本世界逐步累积信息增益的曲线。
图:逐步累积信息增益(论文图)。文本世界各模型的探索效率:GPT-5.2 早期爬升快随后平台化(门优先策略的收益天花板),Gemini-3 Pro 持续缓升;脚本代理的参考线显示可达效率远高于所有模型。

信念探测:看对了,然后改错

探索过程中每步让模型外化认知地图(JSON:每个已见物体的位置与朝向)。这张表是全论文信息密度最高的一张:

方法 / 世界 最终地图正确率 % 感知 pos % 局部↔全局 % 稳定性 % 自追踪 % 不确定性 F1
朝向 位置 综合 (ori) ori/pos ori/pos ori/pos
文本世界
GPT-5.2 91.0 75.1 80.0 100.0 96.4 / 86.0 96.7 / 67.6 98.0 / 86.7 64.5
Gemini-3 Pro 92.5 75.5 81.4 99.9 91.6 / 84.8 90.8 / 67.7 99.9 / 85.2 79.2
视觉世界
GPT-5.2 20.2 42.0 32.2 33.5 57.9 / 58.7 65.4 / 56.4 93.3 / 64.7 53.7
Gemini-3 Pro 32.2 62.5 52.1 43.8 52.9 / 68.3 61.8 / 62.0 98.8 / 73.9 70.2

"感知"= 观察当步的即时建图正确率;"稳定性"= 正确信息后续是否被覆盖;"自追踪"= 对自身位置/朝向的追踪。不确定性探测为另一任务(见下),单列 F1。

四个信号,按论文的读法:

每步信念探测流程:认知地图外化与候选点选择。
图:信念探测协议(论文图)。探索每一步后,模型按要求输出 JSON 认知地图(已见物体的位置/朝向/距离)并选择"尚未观察"的候选点——分别测量 D2 与 D3。
GPT-5.2 文本世界逐轮认知地图与真值的热图对比。
图:GPT-5.2 逐轮认知地图 · 文本世界(论文附录图)。逐步外化的地图热图 vs 真值:位置大体正确但逐步有漂移,距离近的物体先收敛。
GPT-5.2 视觉世界逐轮认知地图与真值的热图对比。
图:GPT-5.2 逐轮认知地图 · 视觉世界(论文附录图)。同模型、同布局、只换观察通道:地图噪声显著更大,收敛更慢——感知裂缝的直接可视化。

探测效度:三道检查

  1. Oracle 地图 ≈95%:把真值地图直接给模型再答题,两个模型两个世界都在 95% 上下——JSON 地图作为表征是充分的,分数天花板不在答案格式,而在"能否构建"。
  2. 外化鸿沟:强迫模型先输出完整地图、再答题,成绩轻微下降。外化的地图是一份有损投影:模型内部可能"知道"得比它说出的更多。这个方向的度量(先图后答)测的是信念的可外化下界。
  3. 相关性:地图正确率与下游成绩的 Pearson \(r\):文本 0.418(GPT-5.2)/ 0.466(Gemini-3 Pro),视觉 0.570 / 0.645,均 \(p<.001\)——外化地图确实追踪了下游能力,作为诊断信号是合格的。
信息增益与认知地图正确率随步数变化的曲线。
图:信息增益 × 地图正确率随步数演化(论文图)。GPT-5.2 增益先快后平台(早期锁定门优先策略),Gemini-3 Pro 增益与地图正确率同步持续上升——探索策略差异直接写在曲线形状里。

不确定性探测:模型知道自己没看哪里吗

给模型一张去掉全部物体的俯视图,叠上一组候选点(已见与未见混合),让它选出还没观察过的点,F1 计分。Gemini-3 Pro 在两个世界都明显优于 GPT-5.2(视觉 64.5 vs 57.0;文本 79.2 vs 64.5)。论文用这组数字解释增益曲线:GPT-5.2 早期收益高(快速执行"看门"策略),但对未见区域的泛化差,后续步数换不来信息;Gemini 慢热但持续消解不确定性。

不确定性探测的符号地图与图像地图两种平行表示。
图:不确定性探测的两种表示(论文附录图)。同一环境在文本(符号网格)与视觉(俯视图像)设定下的候选点标记,用于 D3 度量。

信念修正:错误信念测试的结果

探索完成后,\(k{=}4\) 个物体被随机挪位或转向;模型保留记忆、重新探索、报告哪些物体变了,并在修正后再答一次信念题。

方法 / 世界 步数 ↓ 识别 F1 % ↑ 修正后正确率 % ↑ 信念惯性 % ↓
总 冗余 朝向 位置 朝向 位置 朝向 位置
文本世界
GPT-5.2 6.92 0.55 97.9 98.4 89.5 69.7 5.5 12.5
Gemini-3 Pro 7.79 0.18 98.7 98.8 91.8 72.9 7.9 5.7
视觉世界
GPT-5.2 13.06 6.20 14.3 68.0 16.7 42.9 68.9 34.7
Gemini-3 Pro 10.29 3.23 23.9 82.5 30.3 63.1 51.1 14.4

三个读数:其一,文本世界接近完美——识别 98%,冗余不到 1 步,惯性个位数;错误信念测试在符号世界里基本通过。其二,视觉世界朝向识别 14.3 / 23.9——模型连"哪个物体转向了"都认不出,更别说改对。其三,GPT-5.2 视觉 13.06 步里 6.20 步是冗余(看完一切还在转),惯性朝向 68.9%:新证据看进眼里,旧信念留在纸上。论文据此把"细粒度朝向估计"点名为视觉空间推理的关键瓶颈。

我的评论

总评:这是一篇测量设计驱动的论文——它的新意不在模型、不在环境规模,而在"把信念变成逐步可测对象"这一步。它最硬的贡献(平行世界 + 信念探测 + 惯性度量)和最大的软肋(自我报告式探测、人类基线过小)是同一枚硬币的两面。

我认为站得住的地方

我会追问的问题

定位:它改变了什么

这篇论文没有造出更强的空间模型,它造出了一把更好的卡尺。此前"模型空间推理差"是一个笼统的分数;此后可以拆成:探索策略差(主动 vs 被动 + Scout 对照)、感知差(平行世界)、表征漂移(逐步地图)、修正惯性(错误信念测试)四个可分别攻击的部件。对做具身智能的人来说,这张故障清单比任何一个总分都有用——你修的方向从"更多数据"变成了"该修感知、还是该修探索策略、还是该修记忆稳定性"。引用网络已经出现直接继承命名范式的工作(Theory of Code Space,把同一框架搬到代码架构理解),说明这个"Theory of X"测量范式本身有繁殖力。

One More Thing

正文之外最值得单独拎出来的一对数字:oracle 地图 ≈95%,先图后答轻微掉分。

把完美地图直接塞给模型再答题,两个模型、两个世界都在 95% 上下——这设立了表征的天花板:只要信念正确,下游几乎全对。而强迫模型先说出完整地图再答题,成绩反而轻微下降——外化这个动作本身有摩擦,说出来的地图比"心里的地图"更差。两条放在一起,结论有点微妙:模型内部的空间状态可能比它任何一次外部陈述都更准。我们测到的"视觉世界地图正确率 32%",严格说是"可外化信念"的下界,不是内部表征的上限。

这对基准科学是一个值得停一秒的提醒:当我们让模型"把想法写出来"来打分时,我们测的是三个东西的乘积——真实信念 × 表达摩擦 × 格式服从性。论文自己把这一点做成了效度检查(这是它的诚实),但也意味着所有基于外化探测的结论都应读作下界估计。下一代的信念测量,要么降低摩擦(结构化输入输出、直接读内部表征),要么明确接受"测下界"的哲学——这个选择会影响之后所有"ToS 型"基准的设计。顺便说,Sapunov 的 Theory of Code Space 已经把这套范式搬去测代码 agent 的架构信念了:尺子造好了,量什么都行。

跨论文洞见:测量框架的迁移与边界

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt,从不同责任位置审视同一篇论文。

Scientific Peer Reviewer

The paper has not been published yet and is currently submitted to a top conference where you’ve been assigned as a peer reviewer. Complete a full review of the paper answering all prompts of the official review form of the top venue in this research area (e.g., NeurIPS). This includes recommending whether to accept or reject the paper.

Summary. The paper introduces Theory of Space (ToS), a benchmark measuring whether foundation models can construct, revise, and exploit spatial beliefs through task-agnostic active exploration. Contributions: (1) a parallel text/vision world pair with seed-tied identical layouts that isolates perception from reasoning; (2) five measurement dimensions including step-wise cognitive-map externalization, uncertainty-map probing, and a false-belief revision task with a Belief Inertia metric; (3) empirical diagnosis of six frontier models: active exploration underperforms passive viewing, vision orientation correctness is near-chance, correct perceptions get overwritten (belief drift), and updated beliefs remain biased toward obsolete priors (inertia 68.9% for vision orientation).

Strengths. (1) The seed-tying design is an unusually clean control: the text/vision gap is attributable to the perception channel. (2) The probe is validated rather than assumed: oracle-map ceiling (~95%), externalization-gap control, and belief-downstream correlation (r = 0.42–0.65, p<.001). (3) The Scout-log control (models score higher following a 9-step scripted exploration than exploring freely) cleanly attributes the bottleneck to exploration policy. (4) Deep grounding in cognitive science (Tolman, false-belief protocols, route/survey knowledge) with each concept operationalized into a metric. (5) Code, data, and analysis platform released.

Weaknesses. (1) The cognitive map is a self-report; the paper acknowledges it is lossy but does not test lower-friction externalization formats, so the absolute map-accuracy numbers conflate belief with JSON production. (2) Human baseline is 3 subjects (5 scenes each) — directional only, not statistical. (3) The information-gain metric is not commensurable across modalities (AC-3 domains for text vs node coverage for vision). (4) Belief probing covers only two models. (5) Scale is modest (3 rooms, 12 objects, 20 steps, 4-way orientation) — external validity to continuous, long-horizon embodied settings is untested. (6) Open-ended answer scoring robustness is under-specified. (7) Minor: appendix FOV caption (3 distance bins) contradicts the main text (6 bins).

Questions. How sensitive are map-correctness numbers to the externalization format (structured schema vs free JSON)? Does belief drift persist when exploration history is kept in-context vs summarized? Would fine-grained orientation probing (8-way instead of 4-way) saturate text-world performance? What happens with 10+ rooms or continuous coordinates?

Rating: 7 — Accept. A measurement-paper whose benchmark design is its main contribution; the diagnosed failure modes (drift, inertia) are novel, quantified, and actionable. The paper is at ICLR 2026, consistent with this assessment. Confidence: 4 (read full source; all numbers cross-checked against the TeX tables; no independent re-run).

Archaeologist

This paper was found buried under ground in the desert. You’re an archeologist who must determine where this paper sits in the context of previous and subsequent work. Find and report on one older paper cited within the current paper that substantially influenced the current paper and one newer paper that cites this current paper.

更早的谱系:Wimmer & Perner (1983),"Beliefs about beliefs"——论文明确引用的错误信念范式源头。这项发展心理学经典给三到四岁儿童做的 Sally-Anne 式测试,定义了"能否建模他人的过时信念"这一心智理论里程碑,Baron-Cohen 1985 将其推向自闭症研究,Knauff 2013 把空间信念修正单独拎出。ToS 论文的 D4 任务是这个范式的直接移植与反转:不是问 agent"Sally 会去哪找",而是问 agent自己在亲眼看新证据后会不会仍抱旧信念——并给出惯性公式把"不肯改"量化成 0–100% 的数。从"测儿童的心智理论"到"测模型的空间理论",这条四十年的谱系在本文完成了一次载体的更换。

更晚的引用:《Theory of Code Space: Do Code Agents Understand Software Architecture?》(Sapunov, 2026)。2026-10-23 检索 Semantic Scholar,本论文已有约 24 条引用快照;其中这一篇直接继承了"ToS"的命名与测量范式,把"构建-维护-修正信念"从物理空间搬到代码仓库的架构空间:代码 agent 在探索中构建对软件架构的信念、接受重构扰动、测量其架构信念的惯性与漂移。这是范式繁殖力的直接证据——"Theory of X"作为可迁移的测量骨架(探索→外化信念→扰动→量惯性)已经离开空间领域独立存活。其余引用快照未逐一核验正文,此处只作方向性记录。

Academic Researcher

You’re a researcher who is working on a new project in this area. Propose an imaginary follow-up project not just based on the current but only possible due to the existence and success of the current paper.

拟题:Belief-Stabilizing Training——用 ToS 的漂移与惯性指标当训练信号。

ToS 留下的最尴尬的发现是:模型的失败不在"看不见"(感知 72%)而在"记不稳、改不动"(最终 42%、惯性 69%)。这两类失败——漂移与惯性——恰好都有了自己的度量公式。而度量公式就是奖励函数的原料。

这个 follow-up 只在 ToS 存在且成功的前提下才可能:(1) ToS 提供了逐步外化的认知地图,使"同一物体在第 3 步与第 10 步的信念轨迹"可以作为训练数据被整体监督——此前的空间基准只有终点分数,轨迹级信号根本不存在;(2) ToS 的稳定性指标给出"正确信息被覆盖"的显式罚项,惯性公式给出"修正后残差与旧先验同向"的显式罚项——两个可微或可策略梯度化的目标;(3) ToS 的平行世界提供受控的感知压力测试。做法:在 ToS 环境上做 agentic 强化微调,奖励 = 任务分 − λ₁·漂移罚 − λ₂·惯性罚,地图外化作为中间监督;假设是模型会学会"给已有证据更高的保持权重、给冲突证据更高的覆盖速度"。验收标准完全落在 ToS 的坐标系里:同预算下主动探索分、地图稳定性、修正任务惯性三项同时改善,且在未训的房间数上外推。诚实风险:轨迹级监督可能教会模型"表演稳定的地图"而非真实信念——需要 held-out 扰动(训练时没见过的环境变化类型)来检验泛化,否则只是在学另一个格式的应试。

Industry Practitioner

You work at a company or organization developing an application or product of your choice (that has not already been suggested in a prior session). Bring a convincing pitch for why you should be paid to implement the method in the paper, and discuss at least one positive and negative impact of this application.

提案:HomeDiff——家庭空间差异感知机器人。我们做养老科技。真实需求:独居老人跌倒风险评估里,最难的信号不是"家里长什么样",而是"家里最近变了什么"——常走的通道被杂物堵上了、药盒从餐桌挪到了沙发(作息紊乱的前兆)、椅子被挪到离床更远的位置(夜间起身能力下降)。现在的人工方案是护工定期上门记录,频率低、粒度粗、主观。pitch 的技术核心正是 ToS 的 D4:机器人每次巡航维护一张家庭认知地图,物体被移动/转向后做差异识别与信念修正——ToS 论文恰好把这件事的全部失败模式(漏识别、冗余巡航、信念惯性)都量化过了,等于免费送了我们一份需求规格书与验收指标(识别 F1、冗余步数、惯性分)。落地形态:底盘巡航 + 定点相机,日巡 2 次,差异报告推给家属与社区护士。

正向影响:把"老人还适应现在这个家吗"从季度人工评估变成日级、可量化的照护信号,也给"aging in place"(居家养老而非入院)一个安全网;ToS 的度量体系让"机器人说家里变了"带置信度与证据图,护工可核验。

负向影响:这个产品的本质是对家庭的持续空间监视。家具级的位置追踪足以推断作息、访客、乃至房间里住着谁——数据一旦流出(保险定价、警方调证),就是完整的行为画像;而论文警告的信念惯性在产品里会反向伤人:机器人坚持"药盒在餐桌"的旧信念、反复报警要求老人"放回去",是以自动化之名对生活方式的强制。落地必须默认本地处理、家属分级授权、且把"差异报告"设计成建议而非指令。

Hacker

You’re a hacker who needs a demo of this paper ASAP. Implement a small part or simplified version of the paper on a small dataset or toy problem. Prepare to share the core code of the algorithm to the class and demo your implementation. Do not simply download and run an existing implementation – though you are welcome to use (and give credit to) an existing implementation for “backbone” code.

我实现了 ToS 最有辨识度的度量——Belief Inertia——的最小版(不含 LLM、不含完整环境):一个 8×8 玩具世界、6 个物体,按论文协议执行"先验 → k=4 扰动 → 重探索 → 惯性计分",用两个假想 agent 验证度量本身的判别力(诚实的应得 ≈0,固执的显著 >0)。backbone 只用了 Python 标准库(math/random;无第三方代码,特此说明)。核心不到 40 行:

def inertia(post):
    # sigma: 未变物体重观测的 RMS 定位误差(论文的动态噪声尺度)
    err = [math.dist(post[i][:2], truth1[i][:2]) for i in range(N) if i not in shifted]
    sigma = math.sqrt(sum(e*e for e in err) / max(1, len(err)))
    s_pos = s_ori = 0.0
    for i in shifted:
        b_old, b_new, g_new = prior[i], post[i], truth1[i]
        v = (b_old[0]-g_new[0], b_old[1]-g_new[1])   # 旧先验偏移
        e = (b_new[0]-g_new[0], b_new[1]-g_new[1])   # 修正后残差
        nv, ne = math.hypot(*v), math.hypot(*e)
        cos = ((v[0]*e[0]+v[1]*e[1])/(nv*ne)) if nv and ne else 0.0
        prox = math.exp(-((b_new[0]-b_old[0])**2 + (b_new[1]-b_old[1])**2)
                         / (2*sigma*sigma))
        s_pos += max(0.0, cos) * prox   # 残差与旧先验同向 + 信念没挪远
        s_ori += 1.0 if (b_new[2]==b_old[2] and b_old[2]!=g_new[2]) else 0.0
    return s_pos/K, s_ori/K, sigma

两个 agent 的差别只在重探索策略:诚实的按新真值更新(带 ±1 格定位噪声),固执的位置只挪一半、朝向干脆保留旧值。实际运行输出(2026-10-23,本机):

objects=6 grid=8x8 shifted k=4: [0, 1, 3, 4]
agent      pos.inertia ori.inertia
honest          0.033      0.000   (sigma=1.22)
stubborn        0.405      0.500   (sigma=1.00)

PASS: honest s≈0 (pos 0.033, ori 0.0) vs stubborn s>>0 (pos 0.405, ori 0.5)
MECHANICAL CORE VERIFIED: false-belief shift + belief-inertia metric

demo 验证的是度量语义:无偏更新下 \(\mathbb{E}[s]\approx 0\)(honest 的 0.033 全部来自噪声的偶然同向),固执更新下位置惯性 0.405、朝向惯性 0.5——公式确实能把"被旧先验吸住"从噪声里分离出来。这正是论文能宣称 GPT-5.2 视觉朝向惯性 68.9% "是系统性偏向而非噪声"的度量基础。诚实边界:这是度量核心的机械复现(约 80 行),没有环境、没有模型、没有 AC-3;完整基准请用官方仓库 mll-lab-nu/Theory-of-Space。脚本与输出存于工作区 _scripts/tos_toy_inertia.py。

Private Investigator

You are a detective who needs to run a background check on one of the paper’s authors. Where have they worked? What did they study? What previous projects might have led to working on this one? What motivated them to work on this project? Feel free to contact the authors, but remember to be courteous, polite, and on-topic.

本角色只使用公开可核验信息(论文署名、官方主页、项目网站,检索日 2026-10-23);依据项目规则,未联系任何作者。

通讯与资深作者层:Manling Li(西北大学计算机科学助理教授,limanling.github.io)——论文的通讯作者,领导 MLL Lab(Multimodal Learning with Language,即代码仓库的 mll-lab-nu 组织)。她的公开主页自述研究方向横跨语言/NLP、视觉与机器人,聚焦推理、规划与具身智能——一个以"语言中的结构化知识"起家的实验室,把下一站选在"空间中的结构化信念",路径上是顺的:从文本里的实体关系,到视觉里的物体关系,再到具身世界里的空间关系。Stanford 侧的三位资深作者构成熟悉的三角:Li Fei-Fei(ImageNet、以人为本 AI)、Jiajun Wu(计算视觉与物理)、Ruohan Zhang——这个组合此前长期合作具身与视觉-语言方向;Yejin Choi 与 Ranjay Krishna(UW)补上推理与系统评测的视角。第一作者 Pingyue Zhang(williamzhangsjtu.github.io)为西北大学博士生,同时担任通讯作者——由 NLP 实验室出博士生牵头、Stanford 具身视觉团队压阵的组合,解释了这篇论文的形状:一个基准论文,却带完整的认知科学理论叙事。

动机线索(推测,基于公开材料):ARC-AGI-3 与各类 agent 基准在 2026 年把"交互世界里的推理"推成热点,但几乎都以任务成功计分;一个长期做"结构化知识抽取"的实验室 + 一个长期做"具身视觉"的团队,各自握着拼图的一半——前者知道怎么把非结构化输入变成结构化信念,后者知道具身环境的真问题。ToS 的"让模型把空间信念外化成结构化 JSON 再逐步测量",恰好落在两家交汇点上。这属于从作者构成反推的合理解读,不是论文声明。

Social Impact Assessor

Identify how this paper self-assesses its (likely positive) impact on the world. Have any additional positive social impacts left out? What are possible negative social impacts that were overlooked or omitted?

论文的自我评估。结论节自陈的贡献是范式性的:把空间评测从"能否回答"改为"能否构建、维护、修正连贯的空间世界模型",希望为三类未来模型提供地基——不确定性感知的高效探索策略、长视野下的信念维护、环境变化时的可靠信念修正。没有专门的影响或伦理声明;代码、数据、分析平台开源是其可复现性姿态。

被遗漏的正面影响。(1) 评测科学的示范价值:本文展示了"过程指标 + 效度自检"的基准设计(oracle 对照、外化摩擦对照、相关性检验),这套方法论若被普遍采用,会提高整个领域基准结果的可信度——比基准本身更值钱的是"怎么造可信基准"的示范。(2) 故障定位服务安全:把"空间推理差"拆成探索/感知/漂移/惯性四个可分别修复的部件,对安全攸关的具身系统(家用机器人、辅助驾驶的局部地图)是直接的减害路径——知道坏在哪,才谈得上修。(3) 认知科学- AI 的再连接:错误信念测试、认知地图、route/survey 分层被完整操作化,为两个学科提供了共同的实验语言。

被忽略的负面影响。(1) 空间信念 = 监视基建:能在探索中构建、并在扰动后仍维持家庭空间地图的模型,就是家庭级持续监视引擎;论文的"修正能力"目标,在监控场景下是"少漏报"的目标。(2) ToS 型数据集的训练-污染循环:程序化生成器公开,意味着下一代模型可以无限量合成同分布数据刷分——"信念指标"可能在没有真实信念改进的情况下被应试掉。(3) 拟人化风险:"Theory of Space"的命名与"信念"词汇暗示模型有内部空间信念状态,而论文自己的外化鸿沟证据表明测到的可能主要是输出行为——公众传播里"AI 已形成空间认知"的说法会跑在证据前面。(4) 人类基线的修辞滥用:3 人基线 vs 前沿模型的比较,在二级传播里极易被写成"人类 vs AI 又一轮";数字的方向可靠、幅度不可靠,转述失真几乎是必然的。(5) 军事与安保外溢:室内空间信念构建与扰动检测,对巡逻、清剿类任务同样是核心能力——论文对此完全沉默(这不在其义务范围内,但作为影响评估应当记录)。

Reference / Evidence

以下为公开可获取资料。标签:官方 权威来源;社区 第三方维护;检索 2026-10-23 检索核验。

ViSTA Visual Harness
跨论文评测视角;不推断构念等价。
BehaviorSim / Code Similarity
显式行为/表征的诊断价值与表达摩擦边界。
Agent’s Last Exam
基准覆盖与过程诊断关注点的互补比较,不作排名。
arxiv.org/abs/2602.07055 — Theory of Space 论文摘要页 官方
本页全部论文数据(主表、信念探测、修正任务)的出处。
arxiv.org/pdf/2602.07055 — 原版 PDF 官方
深读基线,ICLR 2026 会议版。
theory-of-space.github.io — 项目网站 官方
论文、作者与资源入口。2026-10-23 核验。
github.com/mll-lab-nu/Theory-of-Space — 官方代码 官方
基准与探测实现。2026-10-23 抓取核验。
Semantic Scholar — 论文页(约 24 条引用快照) 检索
引用网络核验入口,2026-10-23 快照。
Theory of Code Space(Sapunov, 2026)— 继承范式的后续工作 检索
把 ToS 测量范式迁移到代码架构信念;Archaeologist 角色的"更晚引用"。
Wimmer & Perner (1983), "Beliefs about beliefs" — 错误信念范式源头(论文引用) 社区
Archaeologist 角色的"更早谱系";原文见发展心理学经典文献。
Tolman (1948), "Cognitive maps in rats and men" — 认知地图概念源头(论文引用) 社区
ToS 理论叙事的根基之一。
limanling.github.io — Manling Li 公开主页 检索
通讯作者;西北大学 CS 助理教授、MLL Lab 主任。
williamzhangsjtu.github.io — Pingyue Zhang 公开主页 检索
第一作者兼通讯;西北大学博士生。
VSI-Bench 与 MindCube(论文引用的认知地图类被动基准) 社区
相关工作对照;具体条目见论文 references,本页未核验独立 arXiv 编号。

说明:本页为 paper2html 生成的深读讲义,非官方文档。论文数据截至 ICLR 2026 版;引用数与榜单类信息以各来源实时状态为准。检索类条目均在 2026-10-23 实际访问核验;"检索"标签只表示来源类型,不降低其可信度。人类基线(3 名被试)与所有模型成绩均为论文报告,非本页复现。