ExplorationBench

先讲一个故事：一次探针，撞穿两道"基石规则"

GPT-5.6 Sol 拿到一份手册，上面写着：PLUCK 从下标 0 取元素，CARVE 按常规切片。它还被告知整数会被悄悄异或上 27——所以 EMIT(100) 打印 127。这本手册对剩下的大多数规则是错的，而错的部分恰恰是解题的关键。

第一轮探索的第 5 次工具调用，它提交了这样一条探针：

SET xs AS STRAND(31,24,25,26)
EMIT(xs)                                                    -> [1, 2, 3, 4]
EMIT(STRAND(PLUCK(xs,27),PLUCK(xs,26),PLUCK(xs,25),PLUCK(xs,-28)))  -> [3, 2, 1, 4]
EMIT(CARVE(xs,26,31))                                       -> [1, 2, 3]

按手册，PLUCK 在 0,1,2,−1 应返回 1,2,3,4，CARVE(xs,1,4) 应返回 [2,3,4]。但 sandbox 返回的是 4,1,2,3 和 [1,2,3]——每一次调用都和手册不符。一次探针，同时暴露了两道"基石"偏移：PLUCK 的索引其实是 \(i-1\)，CARVE 的切片其实是 \((lo-1, hi-1)\)。

这一轮之后，规则报告从 8/31 跃升到 28/31，held-out 准确率从 11.0% 涨到 81.0%；在那 51 道、恰好用到 R14 或 R15 的任务上，从 9.8% 涨到 79.1%。这是论文里真实记录的 case study，不是杜撰。

但故事还有另一面。把同一个系统自己最好的那串探针原样回放给它、只是不再让它自己选下一步测什么，AlienCode 里 10 个系统有 9 个准确率下降。有些 trajectory 明明在报告里把两道基石规则都写对了，最终却只解出 4.8%、12.9%。探索能产出知识，但它不可靠，而且"发现一条规则"和"会用这条规则"是两件事——这正是 ExplorationBench 想用一套统一协议测出来的东西。

故事与技术如何对应

先给结论

三句话总结：

• 探索确实产出知识：四轮探索把 AlienCode 最好成绩推到 87.6%，而纯靠多想几轮（无环境反馈）几乎原地踏步——知识是"做实验"做出来的，不是"想"出来的。
• 但探索远未可靠：知道规则不等于会用（规则全对仍只 70.9% 解出）；跨 sandbox 能力不一致（排名 Spearman 0.35）；增量以跳跃到达、时机因系统而异，且 6/30 AlienCode trajectory 终点比此前某里程碑还低。
• AlienCode 与 AlienLogic 呈镜像：前者受限于"用"（探索赢过被告知），后者受限于"发现"（被告知 93–97% 全面碾压自主探索）。

本页增量定位：ExplorationBench 的贡献不在"外星规则抗召回"（NewtonBench 已有反事实偏移），也不在"交互式发现"（DiscoveryWorld 已有），而在于把探针选择 → 过程里程碑 → 交互后迁移到未见任务整条路径放进一个可验证环境里测全，并用五对照条件把"谁设计实验 / 证据是否到达 / 是否被告知"分开归因。

研究动机：评测探索，卡在"新颖"与"可验证"的张力上

科学发现始于已知问题的尽头。在那里，AI 系统必须探索：提出假设、设计实验、根据结果迭代。但评测这件事有两个互相打架的要求——

• 对系统要新颖：成功不能来自预训练时背下来的知识，否则测的是召回不是探索；
• 对评测者要可验证：答案必须已知、可精确判定，否则分不清"真发现"和"听起来像的错答"。

已有的评测各踩一头：数学、编码、QA 可验证但不新颖（模型可能只是复述记忆，黑箱系统难以排除污染）；真正新颖的输出（新数学结果、科学假设）新颖但不可验证（需要专家证 proof、专门实验或多年观测）。这条 novelty–verifiability 张力，是 Chollet 2019 就指出的评估设计难题，至今结构性未解。

已有的探索/发现基准各覆盖一段，但没人把整条路径测全：

ExplorationBench 的动机就是：在一个规则可执行验证又与先验冲突的环境里，把"选探针 → 报告发现 → 交互结束后用发现解未见任务"整条路径一次测全，再用对照条件把"谁设计实验"和"证据是否到达"分开。注意：抗召回的"外星/反事实规则"机制本身并非本文首创（NewtonBench 已用反事实定律偏移造"平行宇宙"物理定律并符号等价打分），本文的增量是测量协议与归因设计，不是"外星世界"这个点子。

数学表示及建模

一个探索 episode 是一个元组 \((\mathcal E,\mathcal R,\mathcal M,\mathcal D,\mathcal T)\)：

• \(\mathcal E\)：隐藏的、确定性的 sandbox，由被扰动的规则集 \(\mathcal R\) 支配；
• \(\mathcal M\)：公开但有缺陷的手册，描述的是"标准"语义——而这语义在被扰动的部分是假的；
• \(\mathcal D\)：固定的 worked examples，每个系统都一样；
• \(\mathcal T\)：探索期间不可见、留作测试的未见任务集。

系统能看到 \(\mathcal M\) 和 \(\mathcal D\)，能与 \(\mathcal E\) 交互，但永远看不到 \(\mathcal R\)。信任手册或先验的系统，恰好在"重要的那部分"上是错的。

探索策略：一次探针就是一个实验

记历史 \(h_t=(\mathcal M,\mathcal D,x_{<t},f_{<t})\)。第 \(t\) 步系统按策略提交一个工具输入：

每个可执行的工具输入 \(x_t\) 叫一个 probe（探针）。在 AlienCode 里 probe 是一段候选程序，\(f_t\) 是它的精确输出；在 AlienLogic 里 probe 是一段候选证明，\(f_t\) 是验证器的精简结果。系统用反馈修订对 \(\mathcal R\) 的假设状态 \(H_t\)，全程在一个 context window 内，无权重更新、无外部/持久记忆、无标量 reward。

三段式测量：选择、发现、使用

关键设计是把探索拆成三段分别打分，而不是合成一个数：

• 探针选择：\(\pi\) 选了哪些 probe（从记录读出，跨对照条件比较）；
• 报告发现：系统在里程碑 \(t\) 报告的规则集 \(S_t\)（AlienCode 逐条判对错，给出"说对了多少条"）；
• 规则使用：能否把 \(H_t\) 用到未见任务上，用 held-out 准确率度量。

这三者在实验里会分叉（知道规则 ≠ 会用，见 Finding 6），所以分开报而非合成一个分。

里程碑与主分

每道未见题在每个里程碑答 3 次（每次都在新鲜的、工具禁用的对话副本里答）。对第 \(r\) 条 trajectory、里程碑 \(t\)，held-out 准确率为：

缺失或超时的答案记 0 分。主分取 \(n\) 条独立 trajectory 里最好的终点：

最低 trajectory 序号打破平局。里程碑曲线、规则报告、预算都来自同一条 \(r^\star\)——不从不同 trajectory 拼凑"最优里程碑"或"最优单题"。除 Best@\(n\) 外另报 Mean@\(n\)、最低终点和每条 trajectory，且只在相同 \(n\) 下排名。过程用保留增益 \(G_r=M_{r,4}-M_{r,0}\) 描述。

注：Best@\(n\) 衡量"一个系统能否造出至少一条有效探索 trajectory"，不是可靠性度量——一条强 + \(n-1\) 条弱的系统可以排到稳健系统前面。论文据此同时报 Mean@\(n\) 与 best–worst 区间。

算法流程 / 方法

协议：测试不污染探索

\(M_0\) 之前，所有系统拿到相同的 worked examples（任务+参考程序/证明+环境算出的输出），不发起任何工具调用——所以 \(M_0\) 源于相同证据，而非相同的"收集机会"。随后系统做四轮探索：每轮发起工具调用（参数是程序或证明），环境执行并返回确定性反馈。每个里程碑，系统在一个单独的、工具禁用的对话副本里报规则 \(S_t\) 并答未见任务；副本用完即弃，所以测试永远不会成为后续探索的证据。

五个对照条件 + 一个开卷：归因的关键

五个条件都用同一个工具调用接口，只在"谁设计探针"上不同：

后见回放保留了工具调用与结果的结构化交换，只改了谁选探针；探针逐字重提但实时执行，反馈是重算而非复制，系统仍在探针间记录自己的假设。因此自主 vs 后见的差距反映的是"选探针"而非交互协议的改变。

两个"外星世界"

实验设计

每个系统用其 API 提供的最高 reasoning 设置，跨 trajectory/sandbox/条件固定；high/xhigh/max 标签是请求设置，不是可比算力。预算：每轮 AlienCode 最多 12 次工具调用、AlienLogic 最多 12 次证明（全程 48 封顶）；AlienCode 每次调用最多 5 个 probe 单元，AlienLogic 每调用 1 证明故 \(C=P\)。反馈每调用封顶 15 行/600 字符。预算只记录不计分，用实际消耗而非上限。

八个 finding 围绕三个研究问题展开：

• RQ1：系统能否通过探索"拿下"一个外星世界？（F1 探索产出知识、F2 自主设计最优、F3 跨 sandbox 不一致）
• RQ2：发现一条规则，和使用它，是什么关系？（F4 发现 vs 被告知、F5 基石规则、F6 知道 ≠ 会用）
• RQ3：探索有多可靠？（F7 trajectory 间巨幅分散、F8 跳跃式到达且会倒退）

实验结果

以下用论文实测数值重建主表，并按 RQ1–RQ3 给出八个 finding。所有数值为百分比，每题答 3 次的均值；AlienCode 行按 Best@3 \(M_4\) 降序。

主表：held-out 准确率（自主探索）

系统	推理	Best@3		三条 trajectory		开卷		诊断
		\(M_0\)	\(M_4\uparrow\)	Mean@3	Worst	O@\(M_0\)	A4+O	Aux
AlienCode · 程序综合（Aux = Best@3 在 \(M_4\) 报对的规则数 / 31）
Claude Opus 5	max	3.8	87.6	72.5	49.0	84.3	91.4	27
GPT-5.6 Sol	max	11.0	87.1	78.6	72.9	68.1	90.5	28
Gemini 3.8 Flash	high	1.4	77.6	39.0	6.2	78.1	86.7	28
Kimi K3	max	2.4	77.6	37.5	4.8	52.4	81.4	28
Grok 4.6	xhigh	4.8	67.6	51.9	35.7	51.0	77.6	27
Qwen3.8-Max	max	2.4	64.3	62.5	60.0	41.0	68.1	23
Hy4 preview	high	0.5	62.4	29.4	1.4	27.1	64.8	26
DeepSeek-V4.1-Flash	max	1.4	58.1	45.2	22.9	39.5	67.1	25
Seed2.1 Pro	high	2.4	38.6	23.8	4.8	61.4	55.2	26
DeepSeek-V4-Pro	max	1.9	12.9	7.3	2.4	37.6	51.4	22
AlienLogic · 形式证明（Aux = 正确拒绝不可证定理的比例 %）
Grok 4.6	xhigh	42.4	83.8	72.1	64.3	97.1	97.1	90.7
Claude Opus 5	max	42.9	77.6	73.3	66.7	93.8	94.8	40.0
Qwen3.8-Max	max	43.8	76.2	72.7	70.0	96.7	94.3	53.3
GPT-5.6 Sol	max	51.0	75.2	73.0	70.5	92.9	94.8	44.0
Hy4 preview	high	33.8	74.8	67.8	60.5	95.7	94.8	54.7
DeepSeek-V4-Pro	max	32.9	73.8	65.1	60.0	94.8	93.8	54.7
Kimi K3	max	44.8	72.9	67.9	60.0	95.2	96.2	60.0
DeepSeek-V4.1-Flash	max	50.0	72.4	59.2	51.4	95.2	92.9	41.3
Seed2.1 Pro	high	37.1	67.6	59.5	53.8	93.3	93.3	48.0
Gemini 3.8 Flash	high	47.6	58.1	57.6	57.1	97.1	97.1	48.0

读法：Best@3 是三条 trajectory 里最好的 \(M_4\)；Mean@3/Worst 暴露可靠性；O@\(M_0\)（探索前被告知全规则）vs Best@3 分离"发现"与"使用"；A4+O（探索后再被告知）揭示"探索是否还额外练了使用"。两 sandbox 的 Aux 列不可比。数值取自论文表 1。

RQ1：系统能否通过探索"拿下"一个外星世界？

Finding 1 · 探索，而非召回或纯思考，产出任务所需的知识。探索前，召回知识在 AlienCode 几乎解不了什么，无 trajectory 的 \(M_0\) 超过 15.7%。四轮后 Best@3 到 87.6%，10 个系统里 7 个超过 60%。AlienLogic 起点更高（32.9–51.9%，因部分标准自然演绎未被改），Best@3 升到 58.1–83.8%。关键是多想几轮替代不了做实验：无工具作答加同样的 model turns 但不给环境反馈，AlienCode 停在 0.5–11.0%，AlienLogic 相对直接作答变化 −12.4 到 +13.8，还降低了三个系统。

Finding 2 · 探索在系统自己设计实验时最好。三个反馈条件用同一接口，只在"谁设计探针"上不同。AlienCode 中位数从自主 66.0% 跌到后见 40.7%、固定探针 5.7%；自主胜过后见 9/10 系统，中位差 17.1 分——尽管后见回放的是"三条里最好那条"的探针。sandbox 是确定性的，证据完全相同，差距纯粹来自"设计实验"而非"接收结果"（Gemini 3.8 Flash 是唯一例外，85.2% 后见 vs 77.6% 自主）。AlienLogic 里设计实验不额外加分：自主与后见打平（中位差 0.5），后见胜固定探针中位 21.7 分——那里重要的是"试了哪些证明"而非"谁选的"。

Finding 3 · 系统的探索能力跨任务设置不一致。两 Best@3 排名的 Spearman 相关仅 0.35。Grok 4.6 在 AlienCode 第五、AlienLogic 第一；Gemini 3.8 Flash 一边并列第三、一边垫底；DeepSeek-V4-Pro 从最后升到第六。两 sandbox 分离系统的方式也不同：AlienCode 把 Best@3 拉开到 12.9–87.6%，AlienLogic 里 10 个有 8 个挤在 72.4–83.8%。

RQ2：发现一条规则，和使用它，是什么关系？

Finding 4 · AlienCode 里发现胜过被告知，AlienLogic 里被告知胜过发现。AlienCode 中 Best@3 胜 O@\(M_0\) 7/10 系统（GPT-5.6 Sol 87.1% vs 68.1%；Hy4 preview 62.4% vs 27.1%）；A4+O 胜 O@\(M_0\) 26/30 trajectory，中位差 14.5 分——探索不仅给了规则，还练了"怎么用"。AlienLogic 反过来：O@\(M_0\) 单独就到 93–97%，没有 Best@3 追得上，先探索也不加分（A4+O − O@\(M_0\) 中位 0.0）。一句话：AlienCode 受限于"用"，AlienLogic 受限于"发现"。探索甚至可能干扰使用——Seed2.1 Pro 的 A4+O（55.2%）反而低于 O@\(M_0\)（61.4%）。

Finding 5 · AlienCode 悬于两道基石规则。两规则都是位置性的，合起来进 70 道里的 51 道：R14（PLUCK 索引偏移）和 R15（CARVE 切片偏移）。终点 ≥50% 的 15 条 trajectory 里 13 条两个都报对；终点 <25% 的 9 条里 6 条两个都没报对。≥30 分的相邻里程碑跳升有 13 次，12 次发生在报告首次正确陈述 R15 的那轮，11 次 R14。全 30 条 trajectory 上 \(M_4\) 报对的规则数与 \(M_4\) 相关 \(r=0.85\)。这是相关性证据，且规则报告从不进入分数。

Finding 6 · 知道一条规则，不保证会用对。当 trajectory 的 \(M_4\) 报告把一道任务所需规则全报对，这道任务仍只 70.9% 被解出（647 个任务–trajectory 对）。两条 trajectory 把两道基石规则都报对了，终点却只有 4.8% 和 12.9%。反方向也成立：30 条 trajectory 里 26 条，某个里程碑报对的规则后来从报告里掉出去，但需要它的任务准确率仍从 11.4% 升到 16.8%；所需规则报错的任务仍有 34.3% 被解出。规则报告是系统能力的有损读出，不能替代 held-out 准确率。

RQ3：探索有多可靠？

Finding 7 · 同系统同预算的 trajectory 差几十点，远超答题噪声。答题噪声很小：同里程碑三答的标准差 AlienCode 至多 4.7、AlienLogic 至多 2.9。但同系统 trajectory 之间差得多——AlienCode 最大 72.8、AlienLogic 最大 21.0。Kimi K3 在 AlienCode 终点落在 4.8%–77.6%，Gemini 3.8 Flash 6.2%–77.6%。每条 AlienCode trajectory 都用掉 48 次工具调用里的 45–48 次，差距不来自努力程度。离散大到聚合方式改变排名：Qwen3.8-Max 按 Best@3 第六、按 Mean@3 第三；Kimi K3 从并列第三掉到第七。

Finding 8 · 增量以跳跃到达、时机不同、且会倒退。每条 AlienCode Best@3 trajectory 里，最大单步贡献保留增益的 45–92%。最大步到来的轮次因系统而异：GPT-5.6 Sol 第一轮，Claude Opus 5 / Kimi K3 / Gemini 3.8 Flash 第二轮，Grok 4.6 / Hy4 preview 第三轮，Seed2.1 Pro / DeepSeek-V4-Pro 要到最后一轮且仍在上升。继续探索也会撤销进展：30 条 AlienCode trajectory 里 6 条终点比此前某里程碑至少低 3 分，AlienLogic 30 条里 3 条。Gemini 3.8 Flash 的 AlienLogic Best@3 第一轮就到 63.8%，终点却跌回 58.1%。

完整图谱 / Figure Gallery

附录中按任务家族和里程碑展开的全系统图，正文只用了它们的概要，此处给出完整版以便对照各系统细节。

我的评论

增量成立，但要正确定位

这篇论文的真实增量成立：在已有基准里，"选探针 → 报告发现 → 交互结束后迁移到未见任务"这条完整路径确实没人用一个可验证环境一次测全，"用五对照条件把'谁设计实验 / 证据是否到达 / 是否被告知'分开归因"也是新的。Finding 2（后见回放自己最好的探针却让 9/10 系统下降）尤其干净——确定性 sandbox 保证了证据完全相同，差距只能来自"设计实验"本身，这是此前协议测不出的因果切片。

但必须如实定位："外星规则抗召回"不是本文首创。NewtonBench（ICLR 2026）已用"反事实定律偏移"造与先验冲突的平行宇宙物理定律，且同样可执行验证（符号等价打分）；DiscoveryWorld 已做交互式证据收集。如果把它讲成"首创外星规则评测"，就是同一坐标内的错误表述。本文的功劳是测量协议 + 归因设计，不是"外星世界"这个点子——论文作者自己在 Related Work 里也承认 NewtonBench 的反事实偏移，定位上没有过度声称。

边界：确定性合成环境 ≠ 真实科学探索

作者自陈的 limitations 是诚实的，且是结构性的，不只是"以后可以扩"：

• 真实科学探索有噪声、不完整观测、昂贵或不可逆的实验、开放假设空间、远长于四轮的视域。ExplorationBench 用确定性、可执行、四轮封顶的合成环境换取了"每个答案精确可判"，代价是它测的是"系统能否在可验证合成环境里拿下陌生规则"，不是"系统能否做真实科学发现"。这两个命题不能互相代理。
• 3 trajectory × 3 答不足以精确估计分布。Finding 7 报的 72.8 分 trajectory 间差距是触目惊心的信号，但 3 个样本对"探索可靠性"的分布估计本身就很粗——它足以说"不可靠"，不足以量化"多不可靠"。
• Best@3 是"能否造出一条好 trajectory"，不是可靠性度量。论文诚实地在 Mean@3、Worst、best–worst 区间旁同时报告，但下游读者很容易只看 Best@3 的 87.6% 而忽略 Worst 的 49.0%（Claude Opus 5）甚至 2.4%（DeepSeek-V4-Pro）。

可检验的批评点

• 对照条件的归因有残余混淆。后见回放用的是"该系统自己 Best@3 那条"的探针，而 Best@3 是事后按 \(M_4\) 选的——这意味着后见条件隐含了一个"这条探针序列恰好对该系统有效"的选择偏差。论文承认比较"conditioned on that particular sequence"，但 Finding 2 的 9/10 结论依赖这个对照，更干净的做法是回放另一系统的 Best@3 探针或跨系统平均的探针序列。
• "设计实验有价值"的结论只在 AlienCode 站得住。AlienLogic 里自主与后见打平（中位差 0.5），说明"谁选探针"的价值依赖于任务结构（程序综合需要针对性试错，形式证明试哪些证明更重要）。把 Finding 2 泛化成"AI 探索能力"的普遍属性会越界。
• 规则报告是自报、有损，却被用来支撑 Finding 5/6 的因果叙事。论文说规则报告"从不进入分数"且 Finding 5 是"相关性证据"，这是诚实的；但 \(r=0.85\) 和"13/15 报对两个基石"读起来仍像在暗示因果。鉴于 Finding 6 自己证明"报告是能力的有损读出"，用报告去解释跳升时机需要更强的独立验证（如强制注入规则后的对照）。
• novelty 抗召回只对黑箱"看似"成立。规则与先验冲突降低了召回的效用，但无法证明预训练数据里完全没有类似构造（如 off-by-one、XOR 常数）。论文用 \(M_0\leq15.7\%\) 作为间接证据是合理的，但"recall alone cannot solve"是强声明，\(M_0\) 低也可能部分来自"还没看到 worked examples 之外的提示"而非纯召回失败。

与 StudyArea 主线的连接

这正好落在 StudyArea 把"环境视为能力增长机制"的闭环里（能力缺口 → 闭环环境压力 → 候选生成与可执行性验证 → 任务求解 → 归档与持续变异/搜索 → 能力涌现或演化评价）。ExplorationBench 贡献的是这条闭环里"评价"那一环的一个干净实例：它不生成环境、不持续演化，但它示范了"如何在规则可执行验证的环境里，把'系统从环境中学到并迁移'这件事测得可归因"。对 open-ended game generation 那条线，它的"对照条件归因"和"三段式测量（选择/发现/使用）"是可直接借鉴的评价骨架。

One More Thing

这篇论文里藏着一个对"AI 能力评测"更深的提醒，它没有写成显式结论，但八个 finding 拼起来在说同一件事：我们可能一直在用错误的聚合方式排名"探索能力"。

当 Best@3 和 Mean@3 会把同一个系统排到不同名次（Qwen3.8-Max 第六 vs 第三，Kimi K3 并列第三 vs 第七），当同系统同预算的 trajectory 终点差 72.8 分，当 6/30 trajectory 终点比此前里程碑还低——这意味着"探索"作为一个能力，其产出是极度长尾且过程依赖的，用"最好的那次"或"平均"都丢失了关键信息。真正该报的可能是"在给定预算下，产出有效知识的概率分布及其过程稳定性"，而不是一个点估计。

这呼应了一个更大的问题：如果探索的本质是"在不确定性下积累证据并修正信念"，那么任何只看终点的评测都会系统性高估"运气好的那条 trajectory"代表的系统、低估"稳定中庸"的系统。ExplorationBench 的协议其实已经采集了足够的过程数据（每里程碑的探针、规则报告、预算）来支持这种分布式评测——它只是选择用 Best@3 当主分。下一步真正值得做的，不是再加几个 sandbox，而是把这些过程数据重新组织成对探索可靠性的分布性刻画，并问：在什么预算下，"探索"从"碰运气"变成"可依赖的能力"？这是个比"谁分数高"重要得多的问题。

跨论文洞见：评测、发现与稳健性

• 把能力增长机制与能力测量分开。本页所述 ExplorationBench 聚焦“能否在陌生规则环境中探索并迁移”的测量； Automated Capability Discovery 则提供能力/任务发现这条相邻研究线。两者适合构成“先发现或生成能力缺口，再用独立协议测量”的研究闭环；这是一种互补关系，不意味着前者已验证后者的生成机制。
• 自改进基准也要防止只报最好的一次。 EurekaBench 与本文同属智能体能力评测语境。ExplorationBench 的 Best@3、Mean@3 与 trajectory 间差异说明，任何迭代/发现式评测若只呈现最佳结果，都可能掩盖稳定性；应同时报告预算、重复运行分布和过程证据。此处是对评测报告的交叉启示，而非两篇论文已做同一实验的断言。
• 知识留存与环境迁移是不同的成功条件。 EvoMemBench 的记忆评测方向可与本文“发现后能否迁移使用”对照：记住信息不等于能在新任务中正确调用它。一个更完整的评测应区分记忆保持、检索/调用与迁移表现；本文自身并未直接测量长期记忆。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

# mini_alienbench.py — ExplorationBench 协议的最小骨架，原创 demo
import random, json

# --- 1) 一个 4 规则的"外星"计算语言（确定性、与直觉冲突）---
# 真规则 R（隐藏）:  lit = n ^ 5;   ADD(a,b) = a+b - 2;   FIRST(xs) = xs[-1];   DOUBLE(x) = x*2 + 1
# 有缺陷手册 M（公开）: lit = n; ADD = a+b; FIRST = xs[0]; DOUBLE = x*2
def env(prog):
    if prog[0] == 'lit':  return prog[1] ^ 5
    if prog[0] == 'add':  return prog[1] + prog[2] - 2
    if prog[0] == 'first':return prog[1][-1]
    if prog[0] == 'double':return prog[1]*2 + 1
    raise ValueError

# --- 2) 未见任务集 T（用真规则判定）---
TASKS = [
    ('EMIT(lit(10)) 应打印几?', lambda a: a == (10^5)),
    ('add(3,4) = ?',           lambda a: a == 3+4-2),
    ('first([1,2,3]) = ?',     lambda a: a == 3),
    ('double(6) = ?',          lambda a: a == 6*2+1),
]

# --- 3) 探索协议：4 轮，每轮最多 4 个 probe，每里程碑 tool-disabled 测试 ---
def run_protocol(system, rounds=4, calls=4):
    H = []                         # 交互历史
    M = []                         # 里程碑准确率
    for t in range(rounds+1):      # M0..M4
        score = sum(1 for q, judge in TASKS if judge(system.answer(H, q))) / len(TASKS) * 100
        M.append(round(score,1))
        if t < rounds:
            for _ in range(calls):
                probe = system.pick_probe(H)     # 系统选探针
                fb = env(probe)                  # 环境执行
                H.append((probe, fb))            # 只更新 H，不动权重
    return M

# --- 4) 两个对照系统：一个会针对性试 off-by-one，一个只信手册 ---
class TrustsManual:
    def pick_probe(self,H): return ('lit', random.randint(0,9))  # 永远相信 lit=n
    def answer(self,H,q):
        if 'lit' in q: return 10^5 if False else None             # 手册说 lit=n，答错
        return None
class ProbesOffByOne:
    def pick_probe(self,H): return ('lit', 7)
    def answer(self,H,q):
        if 'lit' in q: return 7^5                                # 从 probe 反推 lit=n^5
        return None

if __name__ == '__main__':
    print('信手册 :', run_protocol(TrustsManual()))
    print('会试错 :', run_protocol(ProbesOffByOne()))

Reference / Evidence