← 科研空间 首页
arXiv 2610.02200 · v1 2026-10-01 MIT · cs.AI / cs.CV paper2html 深读 · 2026-10-23

VISTA: A Visual Harness for Reasoning in an Interactive World

不给智能体一个更大的大脑，只给它一双能回看、能放大的眼睛：一个零训练、零程序合成的纯机械视觉 harness，让 Claude Opus 5.0 在 ARC-AGI-3 公开 25 局拿到 RHAE 100.00，动作数比首次通关的人类还少 57.4%。

原版 PDF arXiv 摘要页

阅读基线：arXiv:2610.02200v1（2026-10-01 提交）官方 TeX 源码与 PDF；全部插图取自官方 figure PDF。外部事实（ARC Prize scorecard、官方代码仓库、社区系统成绩）已于 2026-10-23 检索核验；引用列表中逐条标注来源类型。论文为 preprint，暂无同行评审记录。文中所有"作者报告"数据均来自论文本身，本页未独立复现实验。

100.00RHAE，ARC-AGI-3 公开 25 局 · Claude Opus 5.0 (xhigh) + VISTA，每局满分
−57.4%总动作数对比首次通关人类：7,302 vs 17,135（25 局合计）
0训练参数与程序合成：harness 内不含任何模型，纯机械接口

先讲一个故事

你在一间贴满便利贴的房间里玩一个会重置的解谜游戏。每走一步，墙上的屏幕刷新一次。屏幕刷新过就翻页——翻页过的内容不再可见，只留下你脑子里的印象。游戏很狡猾：走到第 22 步，它把整个棋盘重置成空白，然后要求你继续走向一个你已经看不见的目标。

人类玩家会怎么办？回头翻自己之前的记忆："刚才那几步之前，地图上有什么来着？东边有一条通道，北边有三块带标记的方块……" 我们不依赖"一次性看清并背下全部"——我们依赖的是事后回看。

VISTA 论文里记录了这个真实瞬间（下图 a）：棋盘重置后，模型发起一次 inspect 调用，从（它自己的）无损视觉存档里取回前 22 个回合中的 4 帧，把它们拼起来，重建了整张地图，然后继续行动。没有魔法，没有训练——只是"每帧都存了原始 PNG，并且模型可以随时取任意帧、任意区域放大"。

第二个瞬间（下图 b）：关卡里有三个小方块，方块某一侧带一个紫色小标记，标记的朝向决定它是活板还是陷阱。在 512×512 的完整画面里，这个标记小到看不清。模型对存档帧上这三个小区域发起 inspect，放大约 13 倍，看清每个方块哪一侧带紫色标记，由此判断朝向。

论文把这两个动作叫做 re-attention（再注意）：跨时空的回看（across space and time）与局部细节的放大（local visual details）。故事讲完了——这篇论文的全部技术内容，就是把这个"回看的能力"工程化，然后系统性地测它到底值多少分。

VISTA 视觉记忆的两个真实使用场景：(a) 棋盘重置后一次 inspect 调用取回前 22 回合的 4 帧重建地图；(b) 对三个小方块放大 13 倍看清紫色标记朝向。
图：模型主导的视觉记忆使用（论文图，含真实 inspect 调用记录）。(a) 跨时空检视：棋盘重置后，模型在单次 inspect 调用中取回前 22 个回合中的 4 帧重建地图。(b) 局部细节检视：模型对三个小方块放大约 13 倍，看清每块哪一侧带紫色标记，从而判断方块朝向。

故事与技术如何对应

故事里每个"人类动作"，都对应 harness 里一个纯机械组件。对应关系如下：

故事里的动作 VISTA 组件 机械性质
屏幕刷新过就翻页，旧画面不再可见 标准多模态 agent 的一次性视觉编码：encode once，原始像素丢弃，上下文压缩后可能被替换成文本摘要 问题本身：模型在编码时不知道哪些信息以后会用到
"回头翻自己之前的记忆" 无损视觉记忆：环境返回的每一帧（含中间动画帧）按 turn + frame 编号原样存档，独立于模型上下文窗口 一个字典：键是 (turn, frame)，值是原始图像
取出 4 帧拼成地图 inspect(frame, region)：取任意存档帧的任意矩形区域，放大返回 裁剪 + 最近邻放大
放大 13 倍看紫色标记 同一个 inspect，只是区域更小、放大倍数更高 还是裁剪 + 放大
"这格到底是什么颜色？" read_pixels(frame, region, rows, cols)：把选定区域采样成 rows×cols 网格，返回精确 RGB 数值 像素采样 + 数值化

论文把这个组合称为对交互历史的显式注意力机制（explicit attention over the interaction history）：模型自己决定看哪些帧、哪个区域、放多大。它不训练任何东西，不合成任何程序——harness 里没有一个可学习的参数。

先给结论

如果你只有 60 秒，读这六条（全部为作者报告数据，非本页复现）：

  1. 满分与接近满分。ARC-AGI-3 公开 25 局：VISTA + Claude Opus 5.0（xhigh）RHAE 100.00，每一局都满分，25 局合计 7,302 个动作，比人类基线（17,135）少 57.4%；VISTA + GPT-5.6 Sol（max）99.00，三次重复 99.04 ± 0.17。
  2. 第一条不走程序合成的路。此前公开榜上 95 分以上的系统（Schema 98.98、ewma_sv_v1.6 98.97、Retrodict 99.86、Tycho 100.00）全部依赖程序合成（program synthesis）；VISTA 是作者所知第一个不写程序、达到 perfect / near-perfect 的系统。作为交换，GPT 档 99.00 略低于最强的程序合成系统。
  3. 增益主要来自"记忆通道"。同一模型（GPT-5.6 Sol max）下的消融阶梯：官方文本网格 harness 13.33 → 换成图像 47.32 → 交互限额放宽 51.66 → 连续对话 65.82 → 笔记 70.05 → 无损记忆+检视 94.10 → 像素读出 99.00。最后两步（70.05 → 99.00）就是这套视觉记忆机制的净贡献。
  4. 图像不是只能打平，是更便宜。同一 VISTA harness 下，文本网格 96.75 / 71.9M tokens/局 vs 图像 99.00 / 30.7M tokens/局；每帧约 4,000 token vs 308 token。
  5. 泛化不止一个基准。GameWorld（34 局 170 任务）：SR 63.3% / PG 79.3%，超过两名新手人类（55.3% / 64.1%）与官方实现（40.0% / 62.9%）；AI GameStore：140.3（人类中位数归一为 100，官方实现 47.3）；BabyVision：63.2%（人类 92.3%，官方一次性输入 41.0%）。
  6. 已知边界。全部主结果在公开 25 局上取得；作者自己写明：模型能力是关键因素，且公开局可能已进入之后发布模型的训练数据，私有集才是更强的检验。文中"第一"的声明都带 without program synthesis 限定。

研究动机

问题不是"模型不够聪明"，而是"通道把聪明浪费了"。

被卡住的通道：一次性视觉编码

交互世界里的智能体必须边看边动：观察 → 推理 → 行动 → 再观察。但现有视觉智能体系统的标准做法是：每一帧图像进入模型时被编码一次，原始像素随即丢弃；上下文快满时，早期帧的表示被压缩、丢弃，或替换成文本摘要。压缩什么、保留什么，由上下文管理策略决定，模型自己没有控制权。

关键困难在于时间错位：模型在编码那一刻并不知道哪些视觉信息之后会用到。当前时刻"不重要"的细节——某个小标记的朝向、20 步前地图的东翼——可能在第 500 步变成解题关键。一次性的、可能有损的、模型不可控的编码，把这个信息永久丢了。

ARC-AGI-3：一个把问题放大的沙盒

ARC-AGI-3（ARC Prize 的交互游戏基准，25 局公开 + 私有局，页面游戏，按"动作数相对人类"计分）提供了一个理想的测试场。它官方的 minimal agent 接口比一般系统更苛刻：观察表示为文本网格（整数的颜色索引矩阵），一个动作产生多帧时最多保留 7 个中间态；上下文窗口 175K token，超窗即丢弃最早回合——没有任何长期记忆。在这个接口下，GPT-5.6 Sol 用最高推理档（max）的官方成绩只有 RHAE 13.33。

社区已有的高分路线是程序合成：让模型先观察、然后写程序来玩游戏（Schema、ewma_sv_v1.6、Retrodict、Tycho，95–100）。这条路有效，但它把问题搬进了另一个符号系统——一旦环境不可完全程序化（渲染、连续动画、浏览器世界），写程序的路会遇到表示瓶颈。

第三条路：修通道，不修大脑

VISTA 的假设是：视觉记忆通道本身就是可修的、且修复它是够用的。具体三件套——

三件套没有一个可学习参数。这个设计的赌注是：前沿多模态模型已经具备足够的感知与推理能力，缺的只是把"该看的东西"以足够保真度送到眼前的机制。赌注的另一面同样重要：harness 是模型无关的机械件——修一次，当前与未来的所有模型立刻受益（论文用开源 GLM-5.3 Flash 320B 验证了这一点：官方 harness 1.89 → 完整 VISTA 66.93，见 One More Thing）。

VISTA 概览：视觉观察、无损视觉记忆与视觉检视三个组件组成 per-turn 推理管线。
图：VISTA 概览（论文图）。三个组件——视觉观察（图像而非文本网格）、无损视觉记忆（每帧原样存档）、视觉检视（inspect / read_pixels）——组成每回合的推理管线；harness 内不含任何训练组件。

数学表示及建模

先把"分数"拆开：RHAE 度量的是动作效率，不是解题能力本身。公式全部来自论文与 ARC-AGI-3 官方技术报告。

层级分数：动作效率的平方，封顶 1.15

\[ S_{\ell,g} = \min\left(1.15,\ \left(\frac{h_{\ell,g}}{a_{\ell,g}}\right)^{2}\right) \]

对游戏 \(g\) 的关卡 \(\ell\)：\(h_{\ell,g}\) 是人类基线动作数——该关卡首次通关人类玩家动作数的上中位数（upper median，比普通中位数更宽松的参照）；\(a_{\ell,g}\) 是智能体的动作数。比值平方意味着：用人类一半的动作过关，得满分区间；动作数超过人类，分数按平方跌。1.15 的封顶防止在某一个简单关卡上无限刷分。未完成的关卡记 0 分。

游戏分数：进度与效率取较小者

\[ S_g = \min\left(\frac{\sum_{\ell=1}^{k} w_\ell}{\sum_{\ell=1}^{n} w_\ell},\ \frac{\sum_{\ell=1}^{n} w_\ell\, S_{\ell,g}}{\sum_{\ell=1}^{n} w_\ell}\right),\qquad w_\ell = \ell \]

关卡权重 \(w_\ell = \ell\) 随序号线性增长（后面的关卡更值钱）；\(k\) 是通过的最后一关。两项分别是"进度项"与"效率项"，取较小者——既不能只冲进度不顾效率，也不能靠低效通关刷效率。

各基准的聚合方式

基准 度量 聚合 人类参照
ARC-AGI-3 RHAE（0–100） 25 局游戏分数取平均 486 名首次游玩参与者、每局 10 人，每关取上中位数（官方技术报告口径）
GameWorld SR（子任务成功率）、PG（进度增益） 34 局 170 任务平均 2 名研究生新手（论文取其成绩做"新鲜人类"参照）
AI GameStore 几何平均数，人类中位数归一为 100 \(n_g = \mathrm{clip}(100\, r_g / m_g,\ 1,\ 10^4)\)，按局几何平均 106 名 Prolific 众包参与者，每局取中位数
BabyVision 准确率（20 个迷宫 + 19 个连线任务） 39 任务平均 16 名成人（迷宫 95.0%、连线 89.5%，加权 92.3%）

读分数时要记住三件事：其一，RHAE 的分子分母都是动作数，它不度量样本效率、计算成本或学习效率（VISTA 一局消耗约 30.7M token，人类是零样本的）；其二，"人类"在四个基准里的口径完全不同（首次玩家 vs 2 名新手 vs 众包中位数 vs 16 名成人）；其三，所有未完成记 0 的规则意味着完成度是分数的前提——这正是为什么后面消融阶梯里"放宽动作限额"能单独提分。

方法：算法流程

一句话版本：一个多轮对话循环，每回合给模型看"当前帧图像 + 工具面 + 笔记"，模型自己决定玩、回看、读像素、写笔记；上下文快满时打包交接、换新上下文继续。harness 本身没有任何智能。

每回合管线

  1. 观察：模型收到当前状态的渲染 PNG（ARC-AGI-3 默认：官方 64×64 帧 → 8× 最近邻放大 → 512×512）。注意：引入视觉检视组件后，每回合自动只送最终帧，中间帧存档不推送。
  2. 推理与行动：模型自由混合使用工具。play(action) 执行游戏动作；harness 顺序执行，禁止并发。每个回合在 GAME_OVER / WIN / TERMINAL 时结束。
  3. 回看：inspect(frame, region) 取任意存档帧任意矩形区域放大；read_pixels(frame, region, rows, cols) 把区域采样成数值网格。两态笔记：GUIDE.md（跨关卡、跨会话的持久理解）与 WORKING.md（当前关卡草稿，跨 RESET 与上下文重启保留，关卡推进时清空）。
  4. 交接：上下文接近上限时，save_compact_checkpoint 原子化保存笔记，新上下文带着笔记 + 记忆索引 + 动作历史继续。

完整的工具面（附录伪代码口径）

工具 作用 性质
play(action) 执行一个游戏动作，返回结果帧 环境接口
inspect(frame, region) 取存档帧的矩形区域，放大返回 机械：裁剪 + 放大
read_pixels(frame, region, rows, cols) 区域 → rows×cols 的 RGB 数值网格 机械：采样 + 数值化
history 取回过往动作与环境返回 机械：日志
read/write_guide / read/write_working 两态笔记读写 机械：文件
save_compact_checkpoint 上下文压缩前的原子保存 机械：写文件

提示词只有六行

ARC-AGI-3 全部 25 局共用同一个提示词，直译如下（GameWorld / AI GameStore 用同模板环境无关版本，BabyVision 用静态推理版本）：

# Visual game task
用尽可能少的游戏动作完成游戏。
建立并使用一个紧凑、可修订的游戏与其当前状态的模型；当新证据改变了原有支撑时，更新它。
每次 play 之前，简述你预期会看到什么；之后，简述所有可见变化——无论是否符合预期。
把简洁、耐用、可修订的游戏理解保存在 GUIDE.md；需要时用 WORKING.md 作草稿。

值得注意的设计取向：提示词不教任何策略，只要求"预测 → 行动 → 复核"的循环和两态笔记——策略完全留给模型。这与"harness 机械、智能在模型"的定位一致。

部署与限额

两套部署：Claude Code CLI（MCP server 模式，内置工具禁用，沙箱容器）跑 Opus 5.0；Codex CLI（工具注册到 app server）跑 GPT-5.6 Sol。控制器强制顺序执行。评测限额：每局 2,000 动作（Opus、GPT）、3,000 动作（GLM）、48 小时；这宽于官方 stopping criteria（每段 5× 人类动作 + 12 小时）——消融实验里专门量化了放宽限额本身的影响（13.33 → 51.66 阶梯的前两步）。

VISTA 三个设计组件与每回合管线的示意图。
图：VISTA 的三个设计组件与每回合管线（论文图）。(a) 视觉观察：渲染图像；(b) 无损视觉记忆：每帧按 turn+frame 原样存档；(c) 视觉检视：inspect 与 read_pixels。
四个基准的观察形式：ARC-AGI-3、GameWorld、AI GameStore、BabyVision 的界面示例。
图：VISTA 评测的四个基准（论文图）。上排：ARC-AGI-3 页面游戏与 GameWorld 浏览器游戏；下排：AI GameStore 浏览器游戏与 BabyVision 静态视觉推理任务。

实验设计

一条主实验 + 五组消融 + 三个跨基准，全部围绕同一个问题：视觉记忆通道值多少分？

主实验：ARC-AGI-3 公开 25 局

两个前沿后端：Claude Opus 5.0（xhigh 推理档，Claude Code）与 GPT-5.6 Sol（max 档，Codex CLI）。报告 RHAE、总动作数、与人类基线之比，并附每局明细（附录 per-game 表）。GPT 档做三次完整重复报告均值 ± 标准差。

消融阶梯（同一模型 GPT-5.6 Sol max、200K 上下文）

配置 改动 RHAE
官方实现 文本网格 + minimal harness（175K 窗口，无长期记忆） 13.33
(i) 仅把文本网格换成 PNG 图像 47.32
(ii) 动作/时间限额放宽到 2,000 动作 + 48 小时 51.66
(iii) 连续对话 + 原生压缩续跑（最小 agent harness） 65.82
(iv) + GUIDE.md / WORKING.md 两态笔记 70.05
(v) + 无损视觉记忆与检视（自动只送最终帧） 94.10
(vi) + 精确像素读出 read_pixels（完整 VISTA） 99.00

阶梯要点：(i)–(iv) 沿用官方协议、每动作自动收最多 7 帧；(v)–(vi) 是 VISTA 的关键转变——只送最终帧，由模型主动检视存档。也就是说 (iv)→(v) 不是"加东西"，而是把"推送什么"的控制权从协议转给模型。

其余五组

Beyond ARC：三个基准

GameWorld（34 款浏览器游戏、170 任务；SR/PG；对照为作者重跑的官方 computer-use 实现与"此前最好公开成绩"）、AI GameStore（10 款游戏；人类中位数归一几何平均；对照为官方实现与此前最好成绩）、BabyVision（39 个静态视觉追踪任务：20 迷宫 + 19 连线；对照为官方一次性输入实现、16 名成人、此前最好成绩）。三者共同覆盖"交互浏览器世界"与"静态视觉推理"两端。

人类基线与可比性

ARC-AGI-3 的人类基线来自官方技术报告（486 名首次参与者）；GameWorld 由作者招募 2 名研究生新手；AI GameStore 官方用 106 名众包参与者取每局中位数；BabyVision 官方用 16 名成人。跨基准比较时，"超过人类"的强度并不相同——这是读结果表时需要带在脑子里的前提。

实验结果

按论文顺序过一遍：主表 → 每局明细 → 消融 → 表示/尺度/上下文 → 开源与 3D → 三个 beyond-ARC 基准。

系统级对比：第一条非程序合成的高分路线

系统 程序合成 模型 推理档 RHAE
官方实现 否 GPT-5.6 Sol max 13.33
官方实现 否 Opus 5.0 high 40.68
Schema 是 GPT-5.6 Sol xhigh → max 95.35
Schema 是 Opus 4.8 → Fable 5 max 98.98
ewma_sv_v1.6 是 GPT-5.6 Sol xhigh 98.97
Retrodict 是 GPT-5.6 Sol max 99.86
Tycho 是 GPT-5.6 Sol / Opus 5.0 max / xhigh 100.00 / 100.00
VISTA 否 Opus 5.0 xhigh 100.00
VISTA 否 GPT-5.6 Sol max 99.00

官方实现一行的 Opus 40.68 由官方逐局报告分数推得（论文脚注）。程序合成系统数据为论文引用的公开成绩（2026-10-15 检索核对过榜单页）。

每局明细：Opus 每局满分，GPT 只在一局失手

游戏 人类动作 Opus 分 Opus 动作 比值 GPT 分 GPT 动作 比值
ar25 748 100.00 256 0.34× 100.00 260 0.35×
bp35 651 100.00 521 0.80× 100.00 534 0.82×
cd82 171 100.00 112 0.65× 100.00 100 0.58×
cn04 789 100.00 225 0.29× 100.00 200 0.25×
dc22 1,228 100.00 547 0.45× 100.00 560 0.46×
ft09 208 100.00 75 0.36× 100.00 77 0.37×
g50t 879 100.00 338 0.38× 100.00 486 0.55×
ka59 730 100.00 303 0.42× 100.00 396 0.54×
lf52 1,339 100.00 1,008 0.75× 100.00 936 0.70×
lp85 388 100.00 104 0.27× 100.00 97 0.25×
ls20 776 100.00 458 0.59× 75.03 1,135 1.46×
m0r0 1,107 100.00 219 0.20× 100.00 224 0.20×
r11l 233 100.00 75 0.32× 100.00 93 0.40×
re86 1,255 100.00 628 0.50× 100.00 582 0.46×
s5i5 638 100.00 254 0.40× 100.00 293 0.46×
sb26 213 100.00 125 0.59× 100.00 124 0.58×
sc25 350 100.00 153 0.44× 100.00 228 0.65×
sk48 1,070 100.00 413 0.39× 100.00 605 0.57×
sp80 518 100.00 119 0.23× 100.00 184 0.36×
su15 361 100.00 99 0.27× 100.00 123 0.34×
tn36 317 100.00 143 0.45× 100.00 225 0.71×
tr87 414 100.00 140 0.34× 100.00 209 0.50×
tu93 462 100.00 193 0.42× 100.00 197 0.43×
vc33 447 100.00 182 0.41× 100.00 272 0.61×
wa30 1,843 100.00 612 0.33× 100.00 986 0.53×
合计（25 局） 17,135 100.00 7,302 0.43× 99.00 9,126 0.53×

两个值得看的细节：ls20 是 GPT 档唯一失分的局（75.03，动作数 1.46× 人类）；Opus 在动作最贵的局 lf52（人类 1,339 动作）仍用 1,008 个动作拿到满分。GPT 三次完整重复：99.00 / 98.90 / 99.23，均值 99.04 ± 0.17——结果不是一次抽签。

消融阶梯柱状图：从官方文本网格 13.33 到完整 VISTA 99.00，附动作数与完成率。
图：harness 配置阶梯（论文图）。GPT-5.6 Sol max、200K 上下文。灰斜纹为官方文本网格实现（13.33，10,619 动作）；(i)–(vi) 依次加图像、限额、连续对话、笔记、无损记忆+检视、像素读出，最终 99.00。注意 (v) 之后每回合自动只送最终帧。

表示消融：图像更便宜，不是勉强打平

观察形式 RHAE 总动作 token/局 token/帧
文本网格（同 VISTA harness） 96.75 9,851 71.9M ≈ 4,000
图像（默认 512×512） 99.00 9,126 30.7M ≈ 308

这一组隔离得很干净：同一个 VISTA harness、同一批工具与笔记，只换观察形式。文本网格在"模型能从数值矩阵推理"的意义上并不差（96.75），但每帧约 4,000 token 的成本让它比 308 token 的图像贵一个数量级。论文用这组实验回应了"为什么不用文本网格 + 精确数值"的天然质疑。

尺度与上下文扫描：4× 图像 + 100K 窗口是性价比点

图像尺度（边长） 2× (128) 4× (256) 8× (512) 16× (1024)
RHAE 96.6 99.7 99.0 88.3
总动作 9,624 8,853 9,126 10,545
图像 token/帧 ≈20 ≈77 ≈308 ≈1,229
上下文上限 100K 200K 500K 780K
RHAE 98.6 99.0 94.4 93.9
总动作 9,499 9,126 10,957 11,782
token/局 17.3M 30.7M 84.1M 105.7M

两条曲线的形状值得记住：16× 反而掉分（更多图像 token 占掉上下文却不改善推理），780K 也掉分（更长的历史堆在上下文里不如主动检视存档）。也就是说，这套机制的卖点恰好是"少存上下文、按需回看"，而不是"塞更多"。

上下文尺寸与图像尺度两组扫描的结果曲线。
图：参数扫描（论文图）。(a) 上下文上限从 100K 到 780K；(b) 图像尺度从 2× 到 16×。两者都显示"更大不更好"——最优配置在中段。

开源后端与 3D 渲染

GLM-5.3 Flash 320B（开源权重，3,000 动作限额）：官方实现 1.89 → 去掉 inspect/read_pixels 的 VISTA 13.27 → 完整 VISTA 66.93。3D 渲染（同批游戏渲染为 3D 场景）：RHAE 84.12、20,640 动作，动作数翻倍但分数仍远超官方文本基线。两组共同说明：机制迁移到弱得多的模型与难得多的视觉条件时仍然成立，只是幅度变化。

GLM-5.3 Flash 320B 在三档配置下的 RHAE 对比柱状图。
图：开源后端（论文图）。GLM-5.3 Flash 320B：官方 minimal harness 1.89，去检视 VISTA 13.27，完整 VISTA 66.93（3,000 动作限额）。全开源组合的可复现成绩。
两款游戏的 3D 渲染示例与 2D/3D 成绩对比。
图：3D 渲染（论文图）。(a) 两款游戏的 3D 渲染；(b) 2D 图像 99.00 / 9,126 动作 vs 3D 渲染 84.12 / 20,640 动作——更难的视觉条件、更多的交互，但机制仍然成立。

Beyond ARC：三个基准全部刷新此前最好公开成绩

基准（模型 GPT-5.6 Sol max） VISTA 人类参照 官方实现 此前最好公开成绩
GameWorld SR / PG（170 任务） 63.3%±2.37 / 79.3%±2.14 55.3% / 64.1%（2 名新手） 40.0% / 62.9% 20.0% / 39.8%
AI GameStore（10 局，人类中位数=100） 140.3（三次运行 119.99 / 148.58 / 140.06 的逐局均值） 100（按构造） 47.3 9.0
BabyVision 准确率（39 任务） 63.2%±3.00 92.3%（16 名成人） 41.0%（一次性输入） 25.7%

注意三个"超过人类"的强度不同：AI GameStore 的 140.3 超过的是众包参与者中位数（构造上=100）；GameWorld 超过的是 2 名研究生新手；BabyVision 则仍落后 16 名成人约 29 个百分点（静态任务上人类视觉追踪仍显著更强）。论文自己没有混淆这些口径，读者也不应。

GameWorld、AI GameStore、BabyVision 三个基准上 VISTA 与各基线的对比图。
图：Beyond ARC 结果（论文图）。GameWorld（SR/PG）、AI GameStore（归一化几何平均）、BabyVision（准确率）上 VISTA、人类参照、官方实现与此前最好公开成绩的对比。

轨迹：满分是怎么玩出来的

附录给出逐动作轨迹：每帧一个画面、环形标记点击。AR25 与 BP35 的轨迹显示的是同一种模式——先探规则、再用远低于人类的动作数直奔目标；BP35 关卡一里"向上重力 + 点击绿色方块开路"的玩法被模型在一次 G UID E 更新内固化。

AR25 完整轨迹，每动作一帧。
图：AR25 完整轨迹（论文图，附录）。每帧对应一个动作；环形标记表示点击。人类 748 动作，VISTA+Opus 用 256 个动作通关。
BP35 关卡一完整轨迹：向上重力、点击绿块开路。
图：BP35 关卡一完整轨迹（论文图，附录）。玩家处于向上重力场，可左右移动；点击绿色方块将其移除以清理通路，目标是到达粉色物体。

附录另有 BP35 关卡三轨迹与 beyond-ARC 轨迹（GameWorld 两局交互游戏、BabyVision 两个静态任务），此处从略。

我的评论

先说总评：这是一篇变量隔离得非常干净的"通道修复"论文——它没有宣称新的智能，只宣称"修好一根管道"，然后用四基准 × 三后端 × 参数扫描 × 三次重复的证据阵列支撑这个窄声明。窄声明的证据密度，比宽声明的宣传密度可信得多。

我认为站得住的地方

我会追问的问题

定位：它改变了什么

这篇论文没有证明"视觉 harness 比程序合成好"——GPT 档 99.00 仍低于 Retrodict 99.86 与 Tycho 100.00。它证明的是第二条路也通了：不把交互世界翻译成程序，只用"存好每一帧 + 让模型自己回看"这一根机械管道，就能在公开集上追平到 99–100 区间。两条路的比较价值在于暴露了不同的瓶颈：程序合成撞"可程序化性"的墙，视觉 harness 撞"token 成本 + 模型感知保真度"的墙。

我会给这篇论文的工程判断打高分：它把一个所有人都默认"就该这么做"的组件（一次性视觉编码）翻转成显式设计选择，并且用证据说明翻转的价值。接下来最值得看的，是私有集验证，以及把检视策略内化进模型本体（见下面 Academic Researcher 角色）。

One More Thing

论文正文之外，最值得单独拎出来的一组数字，是开源后端实验的三连跳：1.89 → 13.27 → 66.93。

GLM-5.3 Flash 320B 是一个比 Opus 5.0 / GPT-5.6 Sol 弱得多的开源模型。在官方 minimal harness 下它只有 1.89；换成 VISTA 但删掉 inspect 与 read_pixels 两个检视工具，13.27；完整 VISTA，66.93。同一根管道，把一个 1.89 分的模型抬到 66.93——虽然没有到 99，但跨过了"能玩"与"能解"之间的鸿沟。

这组数字讲了一个 harness 复利的故事：修一次通道，所有模型立刻受益——Opus 5.0 受益到 100.00，GPT-5.6 受益到 99.00，连开源 320B 都受益到 66.93。对照的另一面是：如果只等更强的模型，官方 harness 会在每一代模型上重新回答一次"这次够不够"。全开源组合（模型 + harness + 代码）还顺带回答了"前沿交互推理研究是否必须绑定闭源 API"——至少在公开 25 局上，答案是 66.93 分的"不必"。

跨论文洞见：能力、评测与可观察性

证据边界：上述跨论文链接仅用于概念对照；本文结论仍以 VISTA arXiv v1 与其报告实验为准，未做独立复现，也没有据此声称因果机制、私有集成绩或安全保证。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

Scientific Peer Reviewer

The paper has not been published yet and is currently submitted to a top conference where you’ve been assigned as a peer reviewer. Complete a full review of the paper answering all prompts of the official review form of the top venue in this research area (e.g., NeurIPS). This includes recommending whether to accept or reject the paper.

Summary. The paper proposes VISTA, a training-free visual harness for interactive environments consisting of three mechanical components: rendered-image observations, a lossless archive of every returned frame, and model-directed inspection tools (region zoom + numeric pixel readout). On the 25 public ARC-AGI-3 games it reaches RHAE 100.00 with Claude Opus 5.0 (7,302 actions vs 17,135 human) and 99.00 with GPT-5.6 Sol (three runs, 99.04 ± 0.17), and it improves over official and best-reported baselines on GameWorld, AI GameStore, and BabyVision. The authors claim it is the first system at perfect/near-perfect ARC-AGI-3 level without program synthesis.

Strengths. (1) Clean variable isolation: the six-rung ablation ladder attributes 70.05 → 99.00 to the memory/inspection channel specifically, under one model and budget. (2) Unusually broad evidence for a systems paper: 4 benchmarks, 3 backends including a fully open-source stack (GLM-5.3: 1.89 → 66.93), context/scale sweeps, run-to-run repetition, per-game tables. (3) Honest self-assessment: contamination risk and model dependence are stated by the authors themselves; official baselines were re-run rather than merely cited. (4) Reproducibility: MIT-licensed code and official ARC Prize scorecards exist.

Weaknesses. (1) All headline results are on the public 25 games; the contamination threat the authors acknowledge is not probed (no temporal split, no private-set evaluation), so "100.00" carries an unquantified risk of training-data overlap. (2) Budgets are not held constant across the ladder: rungs (i)–(ii) change stopping criteria (5× human + 12h → 2,000 actions + 48h); the authors disclose and partially isolate this, but headline shorthand "13.33 → 99.00" conflates budget and channel. (3) Human references are heterogeneous across benchmarks (486 first-time players vs 2 novice grad students vs 106 crowdworkers vs 16 adults), so "beats humans" claims differ in strength. (4) Token cost (30.7M/game) is reported but not scored; RHAE measures action efficiency only. (5) No failure analysis of the one losing game (ls20, 75.03).

Questions. Do you plan private-set evaluation, and does the public-set 100.00 survive it? Can a contamination probe (e.g., models released before vs after the benchmark) bound the overlap effect? What is the failure mode on ls20? How does performance degrade when intermediate frames are removed from the archive (i.e., is the archive's value in final states or animation frames)?

Rating: 7 — Accept (poster). A narrow claim backed by dense, well-structured evidence; the main open risk (public-set contamination) is inherited by all leaderboard entries and explicitly acknowledged. Confidence: 4 (high; I read the full source and reproduced the reading of all headline numbers from the TeX tables; I did not re-run the system).

Archaeologist

This paper was found buried under ground in the desert. You’re an archeologist who must determine where this paper sits in the context of previous and subsequent work. Find and report on one older paper cited within the current paper that substantially influenced the current paper and one newer paper that cites this current paper.

更早的谱系：ReAct（Yao et al., ICLR 2023, arXiv:2210.03629，被本文引言直接引用）。ReAct 确立了"推理 ↔ 行动"交替的文本智能体范式：thought → action → observation 循环。VISTA 的每回合管线是这个循环的直接后代——提示词里"play 之前简述预期、之后简述可见变化"就是 ReAct 的 thought 槽位。但两者在"observation"这一半发生了决定性分叉：ReAct 的世界是文本的，观察免费且无损；VISTA 的世界是视觉的，观察有损且会被上下文管理悄悄丢弃。VISTA 的历史贡献可以概括为：把 ReAct 循环带进视觉交互世界时，发现了"observation 通道本身需要工程"——并给出了无损存档 + 主动检视的补丁。这层继承关系在论文的 related work 里被归入 agent 基础设施一节（同时引用的还有 Voyager 的终身技能库——VISTA 的 GUIDE.md 笔记与之同构）。

更晚的引用：截至 2026-10-15（检索日），未能核验到任何已发表的引用本文的论文。论文列出仅两周，这是正常的时间窗。目前能核验的"后续痕迹"只有三类：ARC Prize 官方平台上 VISTA 两次运行的成绩记录页（GPT-5.6 Sol 99、Opus 5.0 100）、官方开源仓库（joshhhhhan/VISTA，MIT 协议）与项目博客（vista-research.github.io），以及同一 scoreboard 上的程序合成系统（Retrodict 99.86、Tycho 100.00 等——它们是同期并存者而非引用者）。我把这个空缺如实记为"谱系未闭合"：VISTA 在引用网络中的位置，要等第一批以"非程序合成的视觉路线"为基线的后续工作出现才会显形。

Academic Researcher

You’re a researcher who is working on a new project in this area. Propose an imaginary follow-up project not just based on the current but only possible due to the existence and success of the current paper.

拟题：Native Re-Attention——把 inspect 从工具调用内化为模型能力。

VISTA 证明了机械检视接口足以把公开集打到 99–100，但代价是每局约 30.7M token、每回合显式的工具往返，而且全部智能都花在"最强模型 + 无限耐心"上。它同时留下了一笔只有它才能留下的资产：SOTA 模型在解 ARC-AGI-3 时产生的完整检视轨迹——每一帧何时被取回、哪个区域被放大多少倍、read_pixels 落在哪些格子上。这些 inspect 日志就是"专家注意力策略"的监督信号。

Follow-up 只在 VISTA 存在且成功的前提下才可能：(1) VISTA 提供了接口语义（帧存档 + 区域检视 + 数值读出）与"通道修复足够"的成功证据，使内化目标有明确定义；(2) VISTA 的运行日志提供了检视策略的示教数据（无检视的对照 13.27 也现成）；(3) VISTA 的机械 harness 提供了同一环境下的可回滚对照面。做法：把 inspect/read_pixels 调用序列作为轨迹的一部分，微调多模态模型在推理时原生地选择"回看哪帧、看哪个区域、放多大"——把显式工具调用变成隐式注意力偏置。评价指标在 VISTA 的坐标系内定义：同分下的 token 预算（目标：10× 压缩）、弱模型上的增益（GLM 档从 66.93 起步）、以及私有集上的分数（这是 VISTA 自己没能做的检验）。

诚实的风险声明：检视策略可能不可迁移（它是模型特定的问题求解副产品，不是通用技能）；内化后失去显式 inspect 日志意味着失去 VISTA 附带的可审计性——那个收益要另想办法保住。

Industry Practitioner

You work at a company or organization developing an application or product of your choice (that has not already been suggested in a prior session). Bring a convincing pitch for why you should be paid to implement the method in the paper, and discuss at least one positive and negative impact of this application.

提案：PixelSentry——会回看像素的视觉回归测试 agent。我所在的团队做 Web/移动端 UI 的 QA 基础设施。现状：DOM diff 对 Canvas/WebGL/视频类组件失明；截图对比（perceptual diff）误报率高，一个反锯齿变化就炸出 200 个"回归"。pitch：用 VISTA 式 harness 包装现有多模态模型——每一次构建的完整渲染帧无损存档（= 可审计证据链），模型对任意历史帧任意区域放大比对（inspect），对"这个按钮的禁用态灰度是不是设计规范里的 #B0B0B0"用 read_pixels 精确读数。GameWorld 上 63.3% SR 说明开箱即用还不行，但 QA 域有三个比开放游戏友好得多的条件：动作空间有限、断言可机器验证（crash / 报错 / 合规规则）、且历史帧存档直接复用现有 CI 产物。

正向影响：视觉回归从"截图对比的噪音海洋"变成可数值化的精确审计——尤其是无障碍合规（对比度、字号、触控目标尺寸）这类需要精确读数的检查，read_pixels 是天然接口；帧存档让每一条"通过/失败"都带可回放证据，审计成本下降。

负向影响：其一，QA 岗位替代——这正是 VISTA 证明可行的那一类"看屏幕干活"的工作；其二，更隐蔽的是虚假置信：BabyVision 63.2% 对人类 92.3% 的差距提醒我们，视觉判读的误判率在当前模型上不可忽略，把 PixelSentry 的绿灯当免检放行，比没有这个工具更危险。落地形态必须是人审门 + 精确读数兜底，而不是端到端自动放行。

Hacker

You’re a hacker who needs a demo of this paper ASAP. Implement a small part or simplified version of the paper on a small dataset or toy problem. Prepare to share the core code of the algorithm to the class and demo your implementation. Do not simply download and run an existing implementation – though you are welcome to use (and give credit to) an existing implementation for “backbone” code.

我实现并实际跑通了 VISTA 机械核心的最小版（不含 LLM）：一个 12×12 玩具世界、三步 episode、一次 RESET，然后验证无损存档 + inspect + read_pixels 的语义。backbone 只用了 Pillow 做图像操作（致谢；不是本 demo 的原创部分），核心逻辑不到 60 行： 

class Harness:
    """纯机械 harness：帧存档 + inspect + read_pixels"""
    def __init__(self):
        self.archive = {}   # (turn, frame) -> PIL.Image，原样保留

    def store(self, turn, frame_idx, img):
        self.archive[(turn, frame_idx)] = img.copy()      # 无损：存原始

    def inspect(self, turn, frame, region):               # 跨时空回看
        x, y, w, h = region
        crop = self.archive[(turn, frame)].crop((x, y, x+w, y+h))
        return crop.resize((w*8, h*8), Image.NEAREST)     # 放大返回

    def read_pixels(self, turn, frame, region, rows, cols):  # 精确读色
        x, y, w, h = region
        img = self.archive[(turn, frame)]
        cw, ch = w/cols, h/rows
        return [[cell(img, x+c*cw, y+r*ch) for c in range(cols)]
                for r in range(rows)]                      # rows×cols 数值网格

剧本：第 0–2 回合棋盘上有一个黄色目标格；第 3 回合棋盘被重置成全空（目标在任何当前可见输入中都不存在）。然后仅凭存档调用 harness.inspect(2, 0, (4,4,8,8)) 与 harness.read_pixels(2, 0, (4,4,8,8), 8, 8)。实际运行输出（2026-10-15，本机）： 

turn-3 current frame: all-empty (target invisible)
inspect(turn=2, region=(4,4,8,8)) -> saved inspect_turn2_region.png (64, 64)
read_pixels(turn=2, region=(4,4,8,8), 8x8) numeric grid:
     2 0 2 0 1 2 1 0
     0 0 3 0 0 2 0 2     ← 黄色目标(3)从 22… 从存档中恢复
     2 0 0 2 1 0 0 0
     ...（完整 8×8 数值网格）
recovered yellow target at archived grid row 5, col 6 -> cells[1][2] = 3 OK
MECHANICAL CORE VERIFIED: lossless archive + inspect + read_pixels

demo 验证的正是论文图里那个"棋盘重置后回看存档重建地图"的机制骨架：RESET 之后，当前观察里不存在的信息，被一次跨时空的 inspect 完整取回。诚实边界：这是纯机械核心（约 60 行），没有 LLM、没有真实游戏、没有笔记与上下文交接；完整系统（MCP 工具面、双 CLI 部署、压缩交接）请用官方仓库 joshhhhhan/VISTA。脚本与输出存于工作区 _scripts/vista_toy_harness.py。

Private Investigator

You are a detective who needs to run a background check on one of the paper’s authors. Where have they worked? What did they study? What previous projects might have led to working on this one? What motivated them to work on this project? Feel free to contact the authors, but remember to be courteous, polite, and on-topic.

本角色只使用公开可核验信息；依据项目规则，未联系任何作者（论文已在 arXiv 公开署名，联系需用户明确批准）。

团队构成（论文署名页）：三位共同一作 Qiushi Han、Keya Hu、Linlu Qiu 加上 Cathy Wu 与 Kaiming He，五人全部署名 MIT。

资深作者 Kaiming He（公开履历）：清华大学本科，MIT 博士（2014），先后在微软亚洲研究院与 Meta AI（FAIR，研究负责人级）工作，现为 MIT EECS 教授。代表作 ResNet（深度残差网络，史上引用量最高的论文之一）、MoCo、MAE。如果允许我做一点侦探式解读（标注为解读，非论文声明）：他过去十年的方法学母题一贯是"用一个极简的机械部件解锁大系统的能力"——残差连接只是一条恒等通路，MoCo 只是动量编码器，MAE 只是遮块。VISTA 完全落在这条母题线上：不训模型、不做程序合成，只修"视觉记忆通道"这一根管道。这次合作的另一位资深作者 Cathy Wu（公开主页 wucathy.com，MIT News 2026 年 10 月人物稿）的研究方向是机器学习/强化学习与交通系统的交叉——她在论文中的角色对应 Beyond ARC 部分对"交互世界"泛化的关注。Linlu Qiu（linlu-qiu.github.io）是 MIT EECS/CSAIL 博士生，公开主页列明其方向为 NLP/ML 与视觉推理，是视觉-语言侧的自然人选。Qiushi Han 与 Keya Hu 的个人主页本次未核验到（诚实边界）；官方代码仓库以 Qiushi Han 的 GitHub（joshhhhhan）为组织。

动机线索（推测，基于上述公开材料）：ARC-AGI-3 于 2026 年前后发布，提供了一个把"感知-记忆-行动"闭环放进可测沙盒的机会；对一个持"简单部件解锁能力"方法学信念的团队，官方 harness（文本网格 + 无记忆）恰好是一个显眼的、可翻转的默认设计。这项研究的动因更像是"通道里有个没人修的洞"，而非"我们发明了新智能"。

Social Impact Assessor

Identify how this paper self-assesses its (likely positive) impact on the world. Have any additional positive social impacts left out? What are possible negative social impacts that were overlooked or omitted?

论文的自我评估。论文没有专门的影响声明节；散见的正面自评有三处：harness 模型无关（修一次、全体受益，含全开源组合 GLM 66.93 的"可复现研究不必绑定闭源 API"）；纯推理接口、不改变模型本身（无训练、无对齐面变更）；对交互世界研究提供一个不依赖程序合成的对照组。Limitations 节自我披露了公开集污染与模型依赖。

被遗漏的正面影响。(1) 可审计的 agent 行为：无损帧存档 + 显式 inspect 调用日志，天然构成智能体决策的取证记录——事后可以精确回答"它当时看到了什么"，这是黑盒模型端到端方案给不了的，对高风险域（医疗 UI、金融操作界面）的 agent 部署是真实的安全资产。(2) 无障碍与合规审计：read_pixels 的精确数值读数可直接服务对比度/字号合规检查（ADA/WCAG 类），把"看起来差不多"变成可测数值。(3) 基准研究的民主化：全开源组合 66.93 意味着资源有限的研究组也能在真基准上做交互推理研究。

被忽略的负面影响。(1) 岗位替代的具体化：论文演示的正是"看屏幕、玩界面、完成任务"的能力——游戏测试、QA、数据录入、表单操作类工作首当其冲；PixelSentry 类产品（见 Industry Practitioner）会加速这一进程。(2) "100.00 超越人类"的传播失真：RHAE 只度量动作效率，人类基线是首次玩家上中位数；标题级转述会把它膨胀成"AI 全面超越人类游戏玩家"，这种叙事已经并且将继续被用来制造不必要的社会预期。(3) 计算外部性：30.7M token/局，数百局长实验的能源成本未被讨论——这不仅是环境问题，也把"研究谁能做"重新和算力绑在一起。(4) 公开集污染的系统性扭曲：如果满分部分来自训练数据重叠，榜单会把研究资源进一步吸向"刷公开集"，惩罚做真正泛化研究的组。(5) computer-use 双刃剑：同一套"精确读屏 + 交互"能力对钓鱼自动化、验证码环境下的人机冒充同样适用——论文对此只字未提，但它是把 harness 从 benchmark 搬到真实 Web 时必须直面的安全面。

Reference / Evidence

以下为公开可获取资料。标签：官方 权威来源；社区 第三方维护；检索 2026-10-23 检索核验。

arxiv.org/abs/2610.02200 — VISTA 论文摘要页 官方
本页全部论文数据（RHAE、消融、逐局表、轨迹图）的出处。
arxiv.org/pdf/2610.02200 — 原版 PDF 官方
深读基线，v1（2026-10-01）。
github.com/joshhhhhan/VISTA — 官方代码（MIT 协议） 官方
含 README 中的成绩表与部署要求（Linux、Python 3.12、Docker、双 CLI）。2026-10-23 抓取核验。
vista-research.github.io — 项目博客 官方
README 徽章给出的项目页。
arcprize.org/arc-agi/3 — ARC-AGI-3 基准页 官方
25 局公开 + 私有局说明与计分入口。
arxiv.org/abs/2603.24621 — ARC-AGI-3 技术报告 官方
RHAE 公式、486 名首次玩家基线、175K/7 帧接口细节的原始定义。
ARC Prize scorecard — VISTA + Opus 5.0 (RHAE 100) 官方
官方平台成绩记录页。
ARC Prize scorecard — VISTA + GPT-5.6 Sol (RHAE 99) 官方
官方平台成绩记录页。
github.com/ryanbbrown/Retrodict — 程序合成系统（99.86） 社区
README 含全系统对照表与"183 关/上中位数"口径；本文"第一条非程序合成路线"的对照物。
arxiv.org/abs/2607.28287 — Tycho（程序合成，100.00） 检索
公开榜满分系统之一，程序合成路线代表。
arxiv.org/abs/2210.03629 — ReAct（Yao et al., ICLR 2023） 官方
本文引用的推理-行动交替范式源头（Archaeologist 角色的谱系锚点）。
arxiv.org/abs/2311.05997 — JARVIS-1（开放世界多模态 agent） 检索
本文 related work 引用的前代系统（PAMI 版）。
arxiv.org/abs/2604.07429 — GameWorld 基准 检索
34 局 170 任务浏览器游戏基准（SR/PG 度量）。
arxiv.org/abs/2602.17594 — AI GameStore 基准 检索
10 局、人类中位数归一几何平均计分的游戏商店基准。
Theory of Space — 空间表征与结构推理深读 站内对照
用于区分空间表征机制与视觉检索接口层的讨论。
ERT Embodied Red-Teaming 站内对照
具身代理的风险与失败暴露评测对照；不是 VISTA 的直接验证。
Agent’s Last Exam 站内对照
用于讨论基准能力与评测覆盖范围的区别。
BabyVision 基准（ICML 2026，静态视觉追踪） 检索
20 迷宫 + 19 连线任务；本页数据来自论文引用与表注，未核验独立 URL。
huggingface.co — GLM-5.3 Flash 320B（开源权重） 检索
开源后端实验的模型（1.89 → 66.93 三连跳）。
people.csail.mit.edu/kaiming — Kaiming He 公开主页 官方
Private Investigator 角色的公开履历来源。
wucathy.com — Cathy Wu 公开主页 检索
MIT News 人物稿链接的个人主页。
linlu-qiu.github.io — Linlu Qiu 公开主页 检索
MIT EECS/CSAIL 博士生，NLP/ML 与视觉推理方向。
anthropic.com — Claude Opus 5 模型页 检索
主实验后端之一（xhigh 推理档）。
arxiv.org/abs/2602.15763 — GLM-5 技术报告 检索
GLM 系列模型的技术报告。

说明：本页为 paper2html 生成的深读讲义，非官方文档。论文数据截至 arXiv v1；榜单与 scorecard 内容以各官方页面实时状态为准。检索类条目均在 2026-10-15 实际访问核验；"检索"标签只表示来源类型，不降低其可信度。