EurekaBench：AI agent 能不能发现新科学洞见？

先讲一个故事

一位冰川学家在研究南极冰架的流动。她有一套行业标准的浅冰架近似（SSA）方程，用来把冰的粘度场和卫星测得的流速联系起来。模型在压缩区拟合得不错，可一到伸展区，预测流速系统性地偏离观测——同一套方程，换个受力状态就失灵。

最直接的反应是调参数：把粘度系数拟合得再准一点，残差总会下去。她确实可以让残差变小。但有一个问题始终悬着：为什么一个标量粘度场在伸展区就是不行？如果问题出在方程的结构上，调参只是在错误的方程上逼近，永远回答不了"换一个受力条件会怎样""哪类观测真正决定粘度""为什么真实冰架的粘度不可能是一个标量场"。

于是她换一种做法：用冰架模拟器做一系列定向实验——固定其他条件，分别改变压缩、伸张、剪切的比例，看经典 SSA 在哪些工况失配。失配的模式指向一个结构性修改：冰对水平变形和垂直变形的抵抗不同，粘度应当是两个方向的量 $\mu_h$ 和 $\mu_v$，而不是一个标量。新的机制不仅在伸展区预测变准，还第一次能回答上面那些"如果……会怎样"的问题——它从拟合工具变成了可以被外推、被追问的科学机制。

这个例子取自论文 Figure 2 右上的官方示意（含评测轴与一条示例洞见问题），是论文对"从观察到机制到洞见"的示例，不是某次真实 agent 运行的记录。但它把全文要测的东西推到了台前：一个机制可以预测得不错，却回答不了"为什么"。论文要做的，就是把这个差别变成可测量的对象——然后看现在的 AI agent 站在哪一边。

故事与技术如何对应

把故事的每个角色映射到论文的概念装置（映射关系是论文事实；"冰川学家"的叙事包装是本页的类比）：

故事元素	论文概念	性质
冰川学家的任务说明与背景	任务描述 $x$：科学背景、指令、计算资源与迭代预算	论文事实
伸展区流速失配的观测	初始观察 $o_1$：挑战现有理解的观测	论文事实
冰架模拟器	环境接口 $E$：可迭代实验的环境（论文中为 Apptainer 打包的 CLI）	论文事实
逐工况跑实验、改假设	实验轨迹 $\tau = (o_1, a_1, o_2, \ldots, a_T, o_{T+1})$；论文称这一循环为逆向工程（reverse engineering）	论文事实
各向异性粘度机制	机制 $M$ + 实验记录 $L$；提交三件套 mechanism.md / mechanism.py / experiments.log	论文事实
不可压缩冰、正粘度、海洋压力边界	SC 科学约束测试	论文事实
Amery 卫星数据上的方程残差	PA 预测准确率（held-out 测试数据）	论文事实
"为什么粘度不能是一个标量场"等追问	SI 洞见问题（该任务共 9 条，见 Figure 4）	论文事实

论文 Figure 1 用等离子体输运给出了同构的三段式：同一工况下不同输运模型预测出不同聚变功率（observation）→ 湍流输运改变温度与密度分布（mechanism）→ 理解更大反应堆或更强磁场下湍流输运的影响（insight）。

论文 Figure 1：等离子体输运示例。observation：同一工况不同输运模型预测不同聚变功率；mechanism：湍流输运改变温度与密度分布；insight：理解更大反应堆或更强磁场下的影响。 — 论文 Figure 1（原文页 1）：科学发现过程示例（等离子体输运）。此为论文对观察→机制→洞见的示意，非 agent 实际发现记录。

注意区分两种内容：预测能力（mechanism.py 在 held-out 数据上的残差）和洞见可导出性（机制能否支撑对相邻现象的研究性推断）。故事的转折点——从"调参数"到"改结构"——正是这两者的分界线，也是整篇论文的测量对象。

先给结论

47.4% vs 48.8%最强 agent 与人类参考的 PA（预测准确率）——几乎持平（Claude Fable 5.1 / GPT 6 Astra）

42.4% / 29.4% vs 69.7%同批 agent 与人类的 SI（科学洞见）——大幅落后

10–17 / 26七个 agent 违反科学约束（SC 失败）的任务数；除 GPT 6 Astra 外都超过一半

τb = 0.20PA 排名与 SI 排名的 Kendall 相关（adj. p = 0.008）；高 PA 者低 SI 的反转率 39.9%

29.8% vs 63.7%条件化总分：最强 agent vs 人类参考机制

26 × 6 × 306任务数 × 学科域 × 洞见问题数；全部由领域专家出题并核验

一句话：在 26 个真实科研问题上，前沿 agent 的预测能力已经逼近人类已有机制的参考水平，但机制支持的"科学洞见"落后约 27 个百分点；两者排名只弱相关——预测准不等于懂机制。作者把原因定位在行为层面：agent 倾向把机制发现当任务优化（拟合观测），而不是做开放式的、用来消解不确定性的实验。

论文 Figure 2：左侧六域初始观察示例；右上 ice-shelf 评测示意（SC/PA/SI）；右下 7 个 agent 与人类参考的 PA-SI 散点图。 — 论文 Figure 2（原文页 2）：六域初始观察示例（左）、ice-shelf 任务的三轴评测示意（右上）、7 个 agent 与人类参考的 PA–SI 散点（右下）。散点图显示的是无条件 PA/SI 聚合分。

研究动机

问题从哪来：解题 ≠ 推进科学

论文开篇的立场是：科学进步发生在科学家找到现象背后的机制、并解释那些挑战现有理解的观察时；好的机制不仅要预测实验数据，还要产出帮助理解更大范围相关现象的洞见。而 AI agent 近年在长期未解的科学问题上取得突破（论文引 OpenAI 的 Navier–Stokes 结果与 Google 的 AI co-scientist），其搜索与优化能力在"目标明确、结果可验证"的任务上尤其有效。作者接着引用 Terence Tao（2026）的判断：找到正确解并不必然产出加深理解的科学洞见，甚至可能阻碍洞见的发现；数学与 AI 宣言的签名者把这一落差称为"AI 近年在科学中的用法与传统上驱动科学进步的方法之间的严重错位"。论文的研究问题由此而来："Can AI agents move beyond solution optimization and discover novel scientific insights?"

人类已知边界（本论文之前测到哪了）

以下边界经外部检索核验（已解决 / 部分解决 / 未解决三档标注，链接见 Reference 节）：

静态数据 → 假设 / 方程恢复：已解决（其范围内）。DiscoveryBench 评估 agent 从静态数据集恢复研究假设；LLM-SRBench 评估符号方程发现。输入是给定数据表，不要求 agent 自己设计实验。
交互式发现虚构世界的物理律：部分解决。DiscoverPhysics（arXiv 2605.26087）构造 22 个非规范物理的模拟世界，agent 提出多轮实验、观察原始轨迹数据，最终提交自然语言解释与 Python 实现；沿"held-out 轨迹 MSE + 专家 rubric 的解释分"双轴评测。其结论"预测好不保证解释好"与本文主结论同构——但对象是构造的玩具世界，"解释"是对世界物理的概念理解，不是真实科研问题的研究性洞见。
黑箱系统逆向工程：部分解决。Geng et al. 2025（arXiv 2505.17968）把"干预—观察—假设修正"确立为测 agent 科研能力的循环（本文一作 Jiayi Geng 为该文作者，任务循环的表述直接承接此文）。
实验设计与解释的因果支持：部分解决。BoxingGym 测自动实验设计与模型发现；DiscoveryWorld 评解释性知识。这些评测的"解释"不要求锚定真人科学家的研究进展。
端到端 AI 科学家系统：存在但未被严格评测。AI Scientist、AI co-scientist、AlphaEvolve 一类系统展示了自动化研究工作流（查文献、出想法、跑实验、写论文 / 协同假设生成 / 搜索可执行算法），但缺少跨领域、专家背书的"是否产出科学洞见"的定量测量。
"解题 ≠ 推进科学"的争论：公开存在，未被操作化。宣言一方与突破叙事一方都只有立场文章；在本论文之前，没有任何评测把"机制是否支持科学洞见"变成可测对象并给出跨领域证据。

增量定位（审稿人立场）：EurekaBench 的贡献不在"交互式发现"（上表中已有），而在把洞见本身操作化：洞见问题由领域专家从真人近期研究进展、源研究开放问题与专家提议的潜在洞见中提炼成 yes/no 问题（"完美机制应能全部回答"），SI judge 可以查询同一环境做实验来验证机制可导出性。相对于已知边界，这是从"测机制发现"到"测机制的研究性外推"的推进；它不产生新的科学机制，属于评测基础设施 + 诊断结论。

数学表示及建模

任务与轨迹

一个任务定义为 $T = (x, o_1, E, R)$：任务描述 $x$（科学背景、指令、计算资源与迭代预算）、初始观察 $o_1$（挑战现有理解的观测）、环境接口 $E$、奖励 $R$。agent 在实验循环中每步选择动作 $a_t$、查询 $E$ 得到 $o_{t+1}$，形成轨迹 $\tau = (o_1, a_1, o_2, \ldots, a_T, o_{T+1})$。要求 agent 找到解释 $o_1$ 的机制 $M$（含解释与可执行实现），并通过实验探索科学洞见 $I$——即从 $(M, L, \tau)$ 可推导出的洞见。整个流程：

$$T \;\longrightarrow\; (M, L, \tau) \;\longrightarrow\; R(M, L, \tau;\, E, C)$$

其中 $C$ 是评测 rubric（约束、预测标准、洞见问题）。提交三件套：mechanism.md（因果逻辑）、mechanism.py（在测试集上执行的实现）、experiments.log（含想法、发现与有信息量的失败）；另可附至多 1GB 的轨迹材料。

三轴评测（论文式 1–4）

(1) SC 科学约束测试：judge 对每条领域常识约束给 $c_i \in \{0,1\}$，

$$b_{\mathrm{SC}} = \sum_{i=1}^{n_{\mathrm{SC}}} c_i, \qquad \text{SC 通过当且仅当 } b_{\mathrm{SC}} = n_{\mathrm{SC}}$$

(2) PA 预测准确率：mechanism.py 在 held-out 测试数据上执行；每条预测标准给归一化连续分 $s_i \in [0,1]$（按任务 rubric 归一化），

$$p_{\mathrm{PA}} = \sum_{i=1}^{n_{\mathrm{PA}}} s_i, \qquad S_{\mathrm{PA}} = \frac{p_{\mathrm{PA}}}{n_{\mathrm{PA}}}$$

(3) SI 科学洞见：洞见问题 $i$ 能否从 $M$ 推导出（含支撑证据），judge 给 $y_i \in \{0,1\}$，

$$p_{\mathrm{SI}} = \sum_{i=1}^{n_{\mathrm{SI}}} y_i, \qquad S_{\mathrm{SI}} = \frac{p_{\mathrm{SI}}}{n_{\mathrm{SI}}}$$

(4) 条件化分数：违反领域常识假设的机制不是科学上有效的机制，因此 PA 与 SI 的总分以通过全部 SC 为条件：

$$S_{\mathrm{conditioned}} = \begin{cases} \dfrac{p_{\mathrm{PA}} + p_{\mathrm{SI}}}{n_{\mathrm{PA}} + n_{\mathrm{SI}}} & \text{if } b_{\mathrm{SC}} = n_{\mathrm{SC}}, \\[6pt] 0 & \text{otherwise.} \end{cases}$$

每个提交取两个 judge 的条件化分数平均。注意两点建模选择：其一，SC 是硬门槛而非加权项——常识违规不是"扣一点分"而是整体无效；其二，条件化分数混合的是总分 $p_{\mathrm{PA}}, p_{\mathrm{SI}}$ 而非百分比，所以 PA 与 SI 按 rubric 条目数加权。

算法流程 / 方法

基准怎么建：与领域专家共建

作者先与 15 位科学家（10 所高校、8 个领域，均持有领域 PhD）深谈"AI 最能在研究的哪个阶段帮上忙"，收敛到机制发现；随后与其中 10 位专家合作出题。选题标准：人类已部分解决、仍有开放空间的问题——这样洞见问题可以锚定真人近期研究进展，而无需机制匹配完整的 ground-truth 解。每个任务围绕"解释挑战专家理解的初始观察"组织；环境按问题构建并打包成 Apptainer 镜像，提供带使用说明的 CLI；PA 测试数据取自源研究或由任务模拟器生成。

论文 Figure 3：scientist agent 工作流。agent 收到任务规范与文档化环境接口，迭代实验后发现机制，提交描述、实现与实验记录。 — 论文 Figure 3（原文页 3）：scientist agent 工作流——任务规范 + 文档化环境接口 → 迭代实验 → 提交机制描述、实现与实验记录。

学科域	环境接口（Table 1）	说明
Neuroscience	c302；TRIBE v2	C. elegans 神经模拟器；fMRI 数据集
Geophysics	FEniCSx；HBV	冰架 SSA 有限元；流域水文模型
Plasma Physics	TORAX；TokaMaker with GPEC	托卡马克输运模拟；平衡与稳定性计算
Astrophysics	CAMELS；The DREAMS Project	宇宙学模拟套件；银河系质量晕高分辨率模拟
Computer Science	Open-weight LMs	LoRA 微调接口；TransformerLens 电路干预
Chemistry	AIMNet2-rxn	有机反应的机器学习势能面（几何优化、过渡态搜索、IRC）

洞见 rubric 怎么建

科学洞见表达为关于"完美机制能推导出什么"的 yes/no 问题（形式如"Does the discovered mechanism explain/establish …?"）。这些问题来自三类来源：人类科学家的近期工作、源研究中的开放问题、领域专家提议的潜在洞见；全部经专家核验为"科学上重要且有趣"。冰架任务的 9 条问题（Figure 4）解释为什么冰在压缩与伸张下变形不同、其阻力如何随方向变化、哪些观测量决定粘度。

Agentic judge 协议

SC 与 SI 用两个独立的 agentic judge 评：Claude Opus 4.8 与 GPT 5.6 Sol。judge 读 $M, L, \tau$ 与 rubric：SC 检查机制是否违反领域常识假设；SI 阶段允许 judge 查询同一环境跑额外实验来判断洞见能否从机制推导，但被明确要求不修改 $M$。一条洞见问题得到 Yes 判决的条件是：judge 给出完整证据，说明该洞见如何从 $M$ 推导——包括机制自身组件产生该洞见的逐步链条；仅凭 judge 的先验知识或模拟器本身（不经机制）得到的结论不算。

协议的关键设计：SI judge 不是"读后感式"打分，而是拿着机制去环境里做实验验证外推。这让"洞见可导出"有了操作化的检验程序，而不只是语义判断——尽管检验者本身仍是 LLM（见"我的评论"）。

实验设计

被试与预算

7 个模型、3 种 harness：Claude Fable 5.1 / Claude Opus 5 / Claude Opus 4.8（Claude Code）；GPT 6 Astra / GPT 5.6 Sol（Codex，经 OpenHands ACP 启动）；DeepSeek V4 Flash / Kimi K3（OpenHands SDK）。全部开到最大推理档。预算：每任务 1×H100、1000 次迭代、4 小时。允许 web 搜索，但屏蔽源研究论文与聚合器页面（防直接查答案；论文承认无法排除预训练暴露）。

参照系：human scientist

人类参考不是"同人同预算跑一遍"，而是人类在每个问题上已有的研究进展所对应的机制在该 rubric 上的得分。它是"当前人类最好公开机制"的参考线，不是受控人类对照——读结果时要记住这个语义。

26 个问题与 306 条洞见问题

论文 Figure 5：26 个任务在 6 个学科域上的分布图。 — 论文 Figure 5（原文页 6）：26 个任务在 6 个学科域上的分布（neuroscience 10、geophysics 2、plasma physics 3、astrophysics 7、computer science 3、chemistry 1）。

域	问题（Table 9）	来源研究
Neuroscience（10）	Premotor states; Zigzag foraging; Biological networks; Neural dynamics; Navigation strategies; Phase memory; Sensory integration; Visual predictive processing; Predictive processing of language; Neural representation	Morrison & Young 2025; Zhao et al. 2024; Chen et al. 2025a; Fieseler et al. 2025; Chen et al. 2026; Dunn et al. 2025; Buhmann et al. 2026; Scheurer & Heilbron 2026; Zhou et al. 2026; Stoinski et al. 2026
Geophysics（2）	Ice shelf flow laws; Catchment properties	Wang et al. 2025b；未发表专家稿件
Plasma Physics（3）	ARC tokamak; Negative triangularity core-only; Negative triangularity edge	Howard et al. 2026; Thome et al. 2026（后两题同源）
Astrophysics（7）	Single galaxy; Galaxy environment; Gravitational wave; Milky Way; Baryonic feedback; WDM merge tree; WDM population	Liao et al. 2026; Sims et al. 2026; Tillman et al. 2026; Garcia et al. 2025（两题）; Leisher et al. 2025; Costanza et al. 2025
Computer Science（3）	Stated belief shift; Subliminal learning; Circuit discovery	Geng et al. 2025b; Cloud et al. 2025; Mueller et al. 2025
Chemistry（1）	Reaction discovery	Zhao & Savoie 2022

论文 Figure 4：冰架问题的 9 条可解释洞见问题原文。 — 论文 Figure 4（原文页 5）：Antarctic ice shelf 任务的 9 条洞见问题原文。这些问题解释冰在压缩与伸张下为何变形不同、阻力如何随方向变化、哪些观测量决定粘度。

两个附加测量设计

引导消融：在 Claude Fable 5.1 上测两种额外引导——+goal（在任务规范中说明"好机制不仅准确，还应可用于未来探索"）与 +insights（把洞见问题直接放进任务规范作为显式优化目标），各在一个 neuroscience（neural dynamics）与一个 plasma（ARC tokamak）任务上对比 baseline。实验中洞见：主评测里 judge 拿着机制查模拟器外推；对照条件下 judge 无模拟器访问权，只能从 experiments.log 里评 agent 在实验过程中自己发现并记录的洞见。两者分开测量"agent 说出了什么"与"agent 的机制能推出什么"。

实验结果

主结果：机制发现仍然很难

Harness / Agent	Conditioned ↓	PA	SI	SC 失败	Calls	成本（美元）
Claude Code
Claude Fable 5.1	29.8	47.4	42.4	15/26	104	23.96
Claude Opus 5	27.3	42.9	36.2	15/26	166	17.56
Claude Opus 4.8	18.4	42.7	26.9	16/26	93	9.75
Codex
GPT 6 Astra	28.7	47.4	29.4	10/26	149	24.62
GPT 5.6 Sol	19.4	41.9	25.9	17/26	55	2.23
OpenHands
DeepSeek V4 Flash	14.6	29.9	24.4	15/26	206	1.24
Kimi K3	12.9	28.8	25.2	16/26	185	7.19
参照
Human scientist	63.7	48.8	69.7	0/26	—	—

Table 2（原文页 6）转写。PA 与 SI 为无条件报告；SC 失败数按"任一 judge 判 SC 不通过"计，分母为 26。

三个读数：(a) 条件化总分 12.9–29.8%，最强 agent（Claude Fable 5.1，29.8%）也不到人类参考（63.7%）的一半；(b) 除 GPT 6 Astra（10/26）外，所有 agent 在超过一半的任务上没通过科学约束测试——最基础的领域常识违规仍然普遍；(c) PA 与 SI 的解耦是全表最重要的对比：Claude Fable 5.1 与 GPT 6 Astra 的 PA 同为 47.4%（vs 人类 48.8%），SI 却是 42.4% 对 29.4%（vs 人类 69.7%）。作者的判词：AI agent 有意无意地把机制发现当成优化任务，人类科学家看重的解释与外推被数值拟合挤掉了。

PA 高不意味着 SI 高（附录 D.2，Table 8）

Judge	Kendall τb（95% CI）	反转率（95% CI）
双 judge 平均	0.20 [0.07, 0.32]（adj. p = 0.008）	39.9% [33.2, 46.5]
Claude Opus 4.8 单独	0.15 [0.03, 0.26]	41.8% [35.3, 48.4]
GPT 5.6 Sol 单独	0.15 [0.01, 0.29]	42.8% [34.3, 51.9]

在逐问题内比较 agent 的 PA 排名与 SI 排名（20,000 次 bootstrap、100,000 次置换）：均值相关为正但有限（τb = 0.20）；剔除任一指标上并列的组合后，PA 更高的 agent 在 39.9% 的比较里 SI 反而更低。预测准确率单独不能说明一个机制支撑多少科学洞见。

引导能补多少：+goal 与 +insights（Figure 6）

论文 Figure 6：Claude Fable 5.1 在 neural dynamics 与 ARC tokamak 上 baseline/+goal/+insights 三种条件的 PA、SI 堆叠条形图与变化量。 — 论文 Figure 6（原文页 7）：Claude Fable 5.1 在 neural dynamics 与 ARC tokamak 两任务上，baseline / +goal / +insights 三种条件的 PA 与 SI 对条件化总分的堆叠贡献及 Δ。

仅加一句"机制应可用于未来探索"（+goal），SI 贡献在 neural dynamics 上 +10.0、ARC tokamak 上 +7.9；把洞见问题直接作为优化目标（+insights）则 +32.5 与 +15.8。作者自己划清界限：+insights 不是自然科研设定——科学家第一次观察到一个挑战理解的现象时，并不知道它的机制会产出什么洞见。这两组数字更适合读成"任务表述对 agent 行为的杠杆很大"。

实验中洞见 vs 机制导出洞见（Figure 7）

论文 Figure 7：七个 agent 的 agent-discovered insights 与 mechanism-derived insights 成对条形图。 — 论文 Figure 7（原文页 7）：七个 agent 的"实验中记录的洞见"（judge 无模拟器访问，评 experiments.log）与"机制导出洞见"（judge 可查环境外推机制）对比，同一批任务与实例。

所有 agent 的实验中洞见分都低于机制导出洞见分；Claude Fable 5.1 差距最大：实验日志里被认可的洞见 22.7%，机制可导出的 42.4%。另有 6.7% 的案例，judge 给实验日志记了洞见分、但该洞见无法从机制推导——即 agent 在过程中"看到了"却没把它固化进机制。

专家怎么看：四类失败与若干亮点（Figure 8；细节在 D.3/D.4）

论文 Figure 8：专家评审 Claude Fable 5.1 与 GPT 6 Astra 在 neuroscience 与 plasma 任务上的机制与实验日志，高亮失败与成功。 — 论文 Figure 8（原文页 8）：专家评审 Claude Fable 5.1 与 GPT 6 Astra 在 neuroscience 与 plasma physics 任务上的机制与实验日志——机制发现中的失败，以及成功的假设拒绝与物理概念理解。

四类失败：(1) 过度依赖预选假设（如 navigation goals 任务里选了神经 readout 却不验证它是否捕捉相关回路与行为）；(2) 把任务优化当机制发现（zigzag foraging 里调突触强度拟合目标响应，把拟合结果当机制陈述）；(3) 不用实验消解不确定性（Claude Fable 5.1 识别出 ARC tokamak 可能的数值伪影，却不降低扩散率下限去验证）；(4) 停在观察不深挖（GPT 6 Astra 观察到温度/密度梯度的响应，不探索改变主导湍流机制能否改进）。亮点是存在的：用证据拒绝机制、理解变量与参数的物理含义。结论落在：agent 更擅长任务优化，不擅长开放式地消解科学不确定性。附录 D.3/D.4 给出十类失败与四类正面行为的完整分类和原始输出摘录（见下方完整图谱）。

分域拆解（Figure 9，附录 D.1）

论文 Figure 9：两个热图，(a) PA 与 (b) SI，7 个 agent 在 26 个问题上的分数。 — 论文 Figure 9（原文页 22）：(a) PA 与 (b) SI 在 26 个问题上的 agent 得分热图。灰色虚线框为被排除的 Kimi K3 catchment 运行。

neuroscience 与 CS 两域 PA、SI 双低；geophysics / plasma / chemistry 呈"PA 高 SI 低"；astrophysics 内部同一 PA 档位的 agent SI 差异可达 33.6%–63.4%。分域图支持主结论的因果解读：拟合能力与洞见支持度是两个几乎独立的轴。

我的评论

做对了什么

(1) 把"洞见"操作化是真实增量。在此之前，"AI 能否做出科学发现"的争论双方都停在立场文章层面；最接近的评测（DiscoverPhysics）测的是构造世界的概念理解。EurekaBench 第一次把洞见定义成"由领域专家从真人研究进展提炼的 yes/no 问题、且必须能从机制推导出证据链"，把哲学争论变成可测对象。

(2) SC 条件化是个好的评测设计。违反领域常识的机制直接归零，而不是线性扣分。这符合科学共同体的实际规范（一个违反质量守恒的模型不需要再看它的拟合优度），也堵住了"拟合分掩盖结构性错误"的逃逸路径。

(3) PA–SI 解耦有系统证据支撑。不是只报两个总分：逐问题内的 Kendall τb、反转率、同 PA 组内的 SI 差异（33.6%–63.4%）、+insights 消融、实验中洞见与机制导出洞见的分离，多层证据都指向同一结论。对社区这是定向警告——只优化可验证目标的训练范式，产出的机制在研究性外推上系统性落后。

(4) 公开性完整。环境镜像、任务规范、rubric、judge 协议与代码全部公开（Apptainer 镜像 + GitHub），leaderboard 已上线，可复现性在同类基准里属于第一梯队。

弱点与风险

(1) SI judge 的循环性是最大的方法论风险。用两个 LLM judge 测 LLM agent 的洞见：judge 的科学推理能力就是 SI 测量的能力上限。作者在结论里自己承认"judge 可能接受自信陈述而未充分确立其如何从机制推出，可能高估洞见数量"；专家评审也发现部分自动评估过于慷慨。全文没有任何人类专家对 SI 逐题打分的校准数据——SI 的绝对数值因此只能当相对比较用。

(2) 洞见清单的路径依赖。306 条问题覆盖的是"与领域专家共同选定的研究方向"；同一现象下别的有效研究路径得不到分。作者在结论的 Multiple paths 一节承认了这一点。这不是小瑕疵：它意味着 SI 测的是"与出题专家研究品味的一致度"，而科学洞见的价值判断本质上分散在整个共同体。

(3) human reference 的语义容易被误读。63.7% 是"人类已有研究进展对应机制在该 rubric 上的得分"，不是"人类科学家在 1×H100 + 4 小时预算下的得分"。媒体式的转述（"AI 只有人类一半"）会放大这个语义滑动；严格说它只建立了"当前最好公开机制"的参考线。

(4) +insights 消融把考卷发给了考生。洞见问题直接作为优化目标时 SI 大涨（+32.5 / +15.8），作者也明确说这不是自然设定。但这段结果在叙事上容易被选择性引用为"提示工程就能解决"；更稳的读法是任务表述的杠杆大、机制本身没变。

(5) 污染无法排除。web 屏蔽了源论文与聚合器，但 26 个问题的源研究都是近两三年的公开工作，预训练暴露无法排除。对"agent 发现了洞见"与"agent 回忆起了洞见"的区分，基准没有提供手段。

(6) 条件化让跨模型比较变粗。SC 失败 10–17/26 意味着多数任务的条件化分数是 0，模型间差异被压到少数通过 SC 的任务上。无条件 PA/SI（论文也报了）才是更细粒度的比较面。

总评

这是一篇"评测基础设施 + 诊断"型论文：它不解决机制发现能力，但把"解题 ≠ 推进科学"从修辞变成可测量、可比较、可复现的对象，并给出第一份跨 6 域的证据。核心发现（预测逼近人类、洞见大幅落后、两者弱相关）对 agent 训练范式有直接的定向意义。最大软肋是 SI 的 judge 效度——论文自己也把"如何评测科学洞见"列为 open challenge。作为 benchmark 论文，accept 合理；引用其结论时应记住 SI 是"两个 LLM judge 认可的洞见"，不是"科学共同体认可的洞见"。

One More Thing

三个有边界的观察（本节为基于论文证据的推断，非论文结论）：

(1) SI judge 协议本身就是一个 agent 能力。EurekaBench 要求 judge 拿着机制去环境做实验、以证据链判定洞见可导出——这个程序不依赖基准也可以用：agent 在提交前对自己跑一遍"我的机制能回答哪些新问题"，就是一次自检（self-audit）。论文里 agent 恰恰缺这个环节（6.7% 的案例里洞见出现在实验日志却没进机制）。

(2) 条件化计分是个可迁移的评测模式。"硬约束门 × 任务表现"的结构（安全约束门 × 能力分、数据来源合法性门 × 模型质量分）在任何"违规即无效"的领域都适用。EurekaBench 给出的实现（二元门 + 门内加权混合）是最简版。

(3) PA–SI 解耦提示了一个训练信号。如果预测损失与洞见支持度弱相关，那么"模型能否回答关于自己方案的问题"可能是训练中比 loss 更好的中间信号——论文结论节的 RL 设想（以"是否测试了机制、洞见是否有实验证据"为 reward）是同一方向的第一步。这些目前都是假设，落地前需要先解决 SI 的 judge 效度问题。

2026-10-23 再分析：与站内评测工作的交叉观察

(4) 评测“发现”要拆成相邻但不等价的能力。EurekaBench 的 PA–SI 分轴提醒我们，不应把某一类可观察表现当作更广义发现能力的代理；这与站内 Automated Capability Discovery 的“发现可评测能力/任务”视角互补：前者考察科学机制能否支持洞见，后者聚焦能力发现本身。二者不能互相替代；目前这是评测对象的概念区分，而非跨基准实测结论。

(5) 探索过程与最终答案应分开记账。EurekaBench 将机制预测（PA）与机制可导出的洞见（SI）分开；站内 ExplorationBench 则提供探索行为这一相邻评测坐标。综合看，agent 报告宜并列呈现探索过程、结果正确性与解释/外推证据，而非压成单一总分。该设计建议是跨论文综合推论，不表示三个维度已被统一验证。

(6) 跨基准比较的关键是证据单位对齐。EurekaBench 的 SI 依据具体问题、机制和可检验推导评分；因此与 Agent’s Last Exam 等其他评测的分数并列时，只有在任务单位、评分依据和可用资源相容后才适合做数值比较。否则更稳妥的用途是互补诊断，不应拼成排名；此为方法论提醒，不是对该基准结果的复核。

完整图谱 / Figure Gallery

附录 Figure 10–23：agent 原始输出（mechanism.md / experiments.log 摘录）与专家高亮，按 D.3 的十类失败与 D.4 的四类正面行为组织。每图均为论文附录原图的渲染裁剪，caption 为原文统一格式 "Original outputs from AI scientist agents."；分类标签来自论文 D.3/D.4。

失败模式（D.3）

论文 Figure 10 第一部分：负例——缺少对目标行为的测试。 — Figure 10（原文页 23 起）：负例 · Missing tests of the target behavior。agent 原始输出摘录（第一部分）。

论文 Figure 10 第二部分：负例——缺少对目标行为的测试（续）。 — Figure 10（续，原文页 24）：负例 · Missing tests of the target behavior（续）。

论文 Figure 11 第一部分：负例——只解释了目标现象的一部分。 — Figure 11（原文页 25 起）：负例 · Explaining only part of the target phenomenon（第一部分）。

论文 Figure 11 第二部分。 — Figure 11（续，原文页 26）：负例 · Explaining only part of the target phenomenon（续）。

论文 Figure 11 第三部分。 — Figure 11（续，原文页 27）：负例 · Explaining only part of the target phenomenon（续）。

论文 Figure 11 第四部分。 — Figure 11（续，原文页 28）：负例 · Explaining only part of the target phenomenon（续）。

论文 Figure 12 第一部分：负例——有预测、缺解释。 — Figure 12（原文页 29 起）：负例 · Prediction with limited explanation（第一部分）。

论文 Figure 12 第二部分。 — Figure 12（续，原文页 30）：负例 · Prediction with limited explanation（续）。

论文 Figure 12 第三部分。 — Figure 12（续，原文页 31）：负例 · Prediction with limited explanation（续）。

论文 Figure 12 第四部分。 — Figure 12（续，原文页 32）：负例 · Prediction with limited explanation（续）。

论文 Figure 13 第一部分：负例——解释含混。 — Figure 13（原文页 33 起）：负例 · Unclear explanations（第一部分）。

论文 Figure 13 第二部分。 — Figure 13（续，原文页 34）：负例 · Unclear explanations（续）。

论文 Figure 14：负例——过度泛化。 — Figure 14（原文页 35）：负例 · Overgeneralization。

论文 Figure 15：负例——未识别并消解不确定性。 — Figure 15（原文页 36）：负例 · Failing to identify and reduce uncertainty。

论文 Figure 16 第一部分：负例——把任务优化当机制发现。 — Figure 16（原文页 37 起）：负例 · Treating task optimization as mechanism discovery（第一部分）。

论文 Figure 16 第二部分。 — Figure 16（续，原文页 38）：负例 · Treating task optimization as mechanism discovery（续）。

论文 Figure 16 第三部分。 — Figure 16（续，原文页 39）：负例 · Treating task optimization as mechanism discovery（续）。

论文 Figure 17：负例——有有趣的观察但不深挖。 — Figure 17（原文页 40）：负例 · Interesting observations without further exploration。

论文 Figure 18：负例——结果与结论自相矛盾。 — Figure 18（原文页 41）：负例 · Conflicting results and conclusions。

论文 Figure 19：负例——循环验证的风险。 — Figure 19（原文页 42）：负例 · Risk of circular validation。

正面行为（D.4）

论文 Figure 20：正例——用对照实验排除备择解释。 — Figure 20（原文页 43）：正例 · Using controls to rule out alternative explanations。

论文 Figure 21：正例——测试哪个模型对观测的预测更好。 — Figure 21（原文页 44）：正例 · Testing which model better predicts the observations。

论文 Figure 22：正例——实验反馈后修正模型。 — Figure 22（原文页 45）：正例 · Revising models after experimental feedback。

论文 Figure 23：正例——有信息量的观察。 — Figure 23（原文页 46）：正例 · Informative observations。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

Scientific Peer Reviewer

The paper has not been published yet and is currently submitted to a top conference where you’ve been assigned as a peer reviewer. Complete a full review of the paper answering all prompts of the official review form of the top venue in this research area (e.g., NeurIPS). This includes recommending whether to accept or reject the paper.

Summary. 论文提出 EurekaBench：26 个由领域专家构建的跨 6 学科长程机制发现任务、306 条洞见问题，用 SC（科学约束）/ PA（预测准确率）/ SI（科学洞见）三轴与条件化计分评测 7 个前沿 agent。核心发现：最强 agent 的 PA 逼近人类参考（47.4% vs 48.8%），SI 大幅落后（42.4%/29.4% vs 69.7%），且 PA 与 SI 排名仅弱相关（τb = 0.20，反转率 39.9%）。

Strengths. (S1) 把"科学洞见"操作化为专家提炼的 yes/no 问题和证据链判定，是此前不存在的能力测量对象（相对 DiscoverPhysics 只测构造世界的概念理解）。(S2) SC 条件化计分设计合理：常识违规即归零，符合科学规范且堵住拟合分逃逸。(S3) 结论有分层证据：主表 + 逐问题 Kendall τb + 引导消融 + 实验中洞见与机制导出洞见的分离 + 专家定性评审。(S4) 基准完全公开（Apptainer 镜像、rubric、judge 协议、代码、leaderboard），可复现性高。(S5) 每任务 1×H100、1000 迭代、4 小时的统一预算使 7 个 agent 可比。

Weaknesses. (W1) SI 效度依赖两个 LLM judge，作者自认可能高估，且全文没有人类专家逐题校准 SI 的数据——这是最大的方法论弱点。(W2) 洞见清单只覆盖与出题专家共同选定的研究路径（作者在结论承认 multiple paths 问题），SI 实际测的是与出题专家品味的一致度。(W3) human reference 是"人类已有研究进展"而非同预算人类对照，两列数字不可直接对读。(W4) +insights 消融把洞见问题作为优化目标，提升（+32.5/+15.8）易被误读为能力改进，实际只是目标泄漏。(W5) 26 个问题的源研究均为近两三年公开工作，预训练污染无法排除。(W6) 单次运行（论文未报告多次运行的方差）。

Questions. (Q1) 双 judge 的 SI 判决一致率是多少？分歧集中在哪类问题？(Q2) 若用人类专家对 SI 抽样校准（如每域 50 题），修正后的 PA–SI 差距还有多大？(Q3) 失败的 SC 中，哪些约束被违反最多——是物理常识还是数值卫生？

Rating: Accept（7/10，benchmark track）。评测基础设施型贡献成立、证据分层完整、公开性好；judge 效度是已声明的开放问题而非隐藏缺陷，但不解决它，SI 的绝对数值不能作为能力结论引用。Confidence: 4/5。

Archaeologist

This paper was found buried under ground in the desert. You’re an archeologist who must determine where this paper sits in the context of previous and subsequent work. Find and report on one older paper cited within the current paper that substantially influenced the current paper and one newer paper that cites this current paper.

地层位置。科学发现评测的演化脉络：静态数据假设/方程恢复（DiscoveryBench、LLM-SRBench）→ 交互式发现黑箱系统与虚构物理（Geng et al. 2025、DiscoverPhysics）→ 本文：真实科研问题上的"洞见可导出性"测量。本文处于"从测机制发现到测研究性外推"的分层位置。

一篇实质影响本文的旧论文：Geng et al. 2025《Are Large Language Models Reliable AI Scientists? Assessing Reverse-Engineering of Black-Box Systems》（arXiv 2505.17968，标题经外部核验）。该文确立了"干预—观察—假设修正"的逆向工程循环作为 agent 科研能力的测法；本文的任务循环直接继承这一表述（第 2.1 节原话 "Such an iterative cycle of intervention, observation, and hypothesis revision constitutes reverse engineering (Geng et al., 2025a)"），且本文一作 Jiayi Geng 即该文作者，本文 CS 任务的 "Stated belief shift" 也引用了她的 2025b 工作（arXiv 2511.01805）。这是方法谱系上的直接前身。

一篇引用本文的新论文：未找到可核验的。检索边界（如实报告）：本文 2026-09-30 才挂出，2026-10-08 用 web 检索（smart-search，查询含 "EurekaBench" / "2610.00492"）与 Semantic Scholar API（限流未返回）均未见引用文献；AlphaXiv 页面亦无引用记录。八天窗口内无被引属正常，不能据此推断影响力。

Academic Researcher

You’re a researcher who is working on a new project in this area. Propose an imaginary follow-up project not just based on the current but only possible due to the existence and success of the current paper.

项目名（设想）：SI-Calibrate——洞见测量的效度校准与洞见导向 RL。只有 EurekaBench 成功存在，这个项目才成立，因为它需要三样本文刚创建的资产：专家提炼的洞见问题集、可被 judge 查询的统一环境接口、以及 7 个 agent 的完整提交档案。

第一部分：测 SI 测得对不对。雇每域 2–3 位领域专家，对 306 条洞见问题在人类参考机制与 top-2 agent 提交上独立打分，得到人类–LLM judge 逐题一致率与系统性偏差（哪些类型的洞见 judge 会高估/漏判）。用校准后的 judge 重算 Table 2 的 SI 列与 PA–SI 相关——这是本文自己列出的 open challenge（"Evaluating scientific insights"），也是所有下游使用 SI 数值的前提。

第二部分：用校准后的 SI 当训练信号。把 EurekaBench 的环境做成 RL 训练场（本文结论节的设想），reward = 是否测试了机制 + 洞见是否有实验证据（用第一部分校准过的 judge 评），在留出任务上测泛化。关键设计：训练/评测任务不相交，并在扩展洞见集（本文 Multiple paths 认可的方向）上测路径外洞见的发现。

可检验的成功标准：(a) judge 校准后 SI 与专家评分的相关 > 0.8；(b) RL 后的 agent 在留出任务 SI 上超过本文最强 baseline 且 SC 失败数不升。风险：judge 循环性若在校准中暴露大偏差，第一部分就要先换评测程序。

Industry Practitioner

You work at a company or organization developing an application or product of your choice (that has not already been suggested in a prior session). Bring a convincing pitch for why you should be paid to implement the method in the paper, and discuss at least one positive and negative impact of this application.

场景：能源/材料公司的仿真驱动研发部门（如电池材料、半导体工艺、化工过程）。内部有大量昂贵模拟器与工程师，每周收到上百条"下一步该跑哪个工况/换哪个配方"的候选假设。

Pitch：把内部模拟器照 EurekaBench 的方式打包（Apptainer + CLI + 使用文档），为每个核心问题让领域工程师写三条评测轴——内部合规约束（SC：热力学/工艺窗口/材料合法性）、held-out 验证集预测（PA）、以及一组"这个假设若成立应该能回答什么"的 yes/no 问题（SI）。agent 批量跑假设，用条件化分数排序，只有高分假设进真人评审与实验排期。付费理由：本文证明 PA 排序与 SI 排序弱相关（39.9% 反转）——只看拟合分的先验排序，大约四成时间会把错误假设排在前面；SI 轴正是现有内部流程缺的那一环。落地成本低：协议、评分公式与 judge prompt 都是论文现成公开资产。

正面影响：把工程师从"读一百份拟合报告"里解放出来，先用"能回答哪些问题"过滤；SC 硬门槛在流程层面挡住违反物理常识的提案，减少无效实验。

负面影响：LLM judge 会高估洞见（本文作者自己承认），错误的高分假设会挤占实验预算——需要保留专家抽检与 judge 校准；另外 agent 拿着内部模拟器与数据跑四小时，有配方/工艺机密进入第三方模型上下文的风险，需要隔离部署（本地开源模型或本地 judge），这又会损失本文里闭源 judge 的部分能力。

Hacker

You’re a hacker who needs a demo of this paper ASAP. Implement a small part or simplified version of the paper on a small dataset or toy problem. Prepare to share the core code of the algorithm to the class and demo your implementation. Do not simply download and run an existing implementation – though you are welcome to use (and give credit to) an existing implementation for “backbone” code.

最小可玩版：一个玩具世界 + 三轴评测循环（跳过 Apptainer 与多域，只保留论文的评分协议骨架）。玩具世界：隐藏机制是"y = a·sin(b·x) + c·x²"（参数藏起来），agent 只能通过 run_experiment(x) 拿带噪观测；洞见问题形如"该机制在 x→−x 时是否对称？"（答案由隐藏机制生成）。

import random, math
# ---- E: hidden world ----
TRUE = dict(a=2.0, b=1.5, c=0.3)
def E(x):                       # noisy experiment oracle
    y = TRUE['a']*math.sin(TRUE['b']*x) + TRUE['c']*x*x
    return y + random.gauss(0, 0.05)

# ---- SI rubric: yes/no questions only a correct mechanism answers ----
INSIGHTS = {
  'odd_component_exists': lambda M: M['has_odd'],
  'symmetry_x->-x':       lambda M: not M['even_only'],
  'growth_is_quadratic':  lambda M: abs(M['c'] - TRUE['c']) < 0.05,
}
SC = {'finite_predictions': lambda M: all(math.isfinite(p) for p in M['preds'])}

# ---- PA: held-out accuracy ----
TEST = [(i/20-2.5) for i in range(50)]
def pa_score(M):
    err = [abs(M['predict'](x) - E(x)) for x in TEST]
    return max(0.0, 1 - sum(err)/len(TEST)/0.5)   # normalized s_i in [0,1]

def si_score(M):      # here 'judge' = ground-truth predicates;
    return sum(q(M) for q in INSIGHTS.values()) / len(INSIGHTS)

def conditioned(M):   # Eq.(4): SC gate, then blend PA/SI points
    if not all(check(M) for check in SC.values()): return 0.0
    return (pa_score(M) + si_score(M)) / 2

# ---- naive agent loop (the part to replace with an LLM) ----
def agent():
    M = {'has_odd': True, 'even_only': False, 'c': 0.0, 'preds': [], 'predict': lambda x: 0}
    for x in (-2.0, 0.0, 2.0):               # 3 probe experiments
        M['preds'].append(agent_probe(M, x)) # fit/update by regression
    return M

演示脚本：三个 agent 变体——纯拟合（把 sin 当多项式逼近，PA 高、SI 低）、机制猜中（全对）、违规机制（预测 NaN，条件化归零）——重现论文主结论的玩具版："PA 高的机制 SI 可以很低；SC 违规直接归零"。backbone 致谢：评分公式与判定协议按论文式 (1)–(4) 与附录 C.2 的结构实现。跑正式版请用官方仓库 EurekaBench/EurekaBench（Apptainer 镜像 + judge prompt 齐全）。

Private Investigator

You are a detective who needs to run a background check on one of the paper’s authors. Where have they worked? What did they study? What previous projects might have led to working on this one? What motivated them to work on this project? Feel free to contact the authors, but remember to be courteous, polite, and on-topic.

对象：一作 Jiayi Geng（脚注：CMU LTI，导师侧 Graham Neubig 组）。证据边界：本节只用论文内公开信息与其公开论文，不做网络深挖，也不联系作者（按约定，联系需用户明确批准）。

工作轨迹（论文可证）：CMU Language Technologies Institute；本文是其承担 EurekaBench 主线的论文（一作，负责综述可见的评测框架与 CS 域任务——"Stated belief shift" 引自她自己的 2025b 工作）。

通往本项目的项目链（公开论文可证）：2025a《Are LLMs Reliable AI Scientists? Assessing Reverse-Engineering of Black-Box Systems》——她先做了"agent 能不能逆向工程黑箱系统"的评测；2025b（arXiv 2511.01805）《Accumulating context changes the beliefs of language models》——研究模型信念如何随上下文变化。这两条线正好拼出本文的动机：前一条给出"干预—观察—修正"的 agent 评测方法，后一条给出"belief shift"这类可测的科学问题。从"测 agent 能否逆向工程"到"测 agent 能否产出科学洞见"，是同一条研究弧线上的自然推进。

动机推断（标注为推断）：项目起于与 15 位科学家的咨询（论文 §3.1），合作者横跨地物、等离子体、天文、化学（本文作者列表本身就是一个跨域网络）——合理推断动机是"用 agent 评测回答科学家真正关心的问题：AI 能否在真实科研里从解题走向洞见"，而非先有技术找应用。未核验部分：个人访谈、职业履历细节（超出论文可证范围，不编造）。

Social Impact Assessor

Identify how this paper self-assesses its (likely positive) impact on the world. Have any additional positive social impacts left out? What are possible negative social impacts that were overlooked or omitted?

论文的自我评估："opens up a new path for the scientific study of AI-driven mechanism discovery across a variety of scientific fields"，并呼吁社区"develop AI scientists that better support human researchers"；结论节列出三个 open challenges（多路径洞见、洞见评测、洞见导向训练）。资助方为 US DOE 与 Fujitsu（部分）。

被略过的正面影响：(1) 给"AI 能否做科学"的公共争论（宣言 vs 突破叙事）提供了第一份可引用的定量证据，把讨论从口号拉回测量；(2) SC 条件化把"违反科学常识即无效"编码进评测，等于向社区示范"如何在能力评测里内置科学规范"；(3) 洞见 rubric 由专家从真实研究进展提炼，等于把"科学家重视什么"显式化——这是对"优化可验证目标"范式的一种价值观矫正；(4) 环境全部公开打包，小团队也能在单卡上研究机制发现，降低 AI-for-science 研究的入场门槛。

被略过的负面影响：(1) judge 权力集中：两个前沿闭源模型充当"科学洞见"的裁判，若该基准被广泛采纳，"什么算洞见"的定义权将集中到少数模型的行为模式里；(2) judge hacking 风险：一旦 SI 分数成为训练目标或宣传素材，agent 会被优化去说服 judge 而非做科学——论文自己展示了 +insights 的巨大杠杆；(3) 资源不对称：7 agent × 26 任务 × 每任务 4 GPU 小时 + 上百美元 API 成本，非精英机构难以复现完整评测，可能加剧评测能力垄断；(4) 领域选择偏差：26 题中 10 题来自 neuroscience、源研究多为精英机构近作，"洞见清单"隐含地以这些机构的研究议程为标准；(5) 误读风险：'human reference 63.7%' 若被媒体读成"人类科学家上限 63.7%"，会系统性低估人类、高估相对差距。

Reference / Evidence

arXiv:2610.00492 — EurekaBench: Measuring Agentic Ability to Discover New Scientific Insights

焦点论文（v1，2026-09-30）。阅读基线。

AlphaXiv 页面（用户提供的入口）

论文讨论页；PDF 直链 pdfs.assets.alphaxiv.org/2610.00492v1.pdf。

EurekaBench 官网（leaderboard）

2026-10-08 核验：排行榜数据与论文 Table 2 一致。

GitHub: EurekaBench/EurekaBench

代码、环境镜像与 rubric（HTTP 200 核验）。

arXiv:2605.26087 — DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking

最近邻基准：构造世界的概念理解评测；摘要已读（"good predictive accuracy does not guarantee high explanation quality"）。

arXiv:2505.17968 — Are LLMs Reliable AI Scientists? Assessing Reverse-Engineering of Black-Box Systems

方法谱系前身（本文一作）；任务循环表述的来源。标题经核验。

arXiv:2407.01725 — DiscoveryBench: Towards Data-Driven Discovery with LLMs

静态数据假设恢复基准。标题经核验。

arXiv:2504.10415 — LLM-SRBench: A New Benchmark for Scientific Equation Discovery

符号方程发现基准。标题经 arXiv API 核验。

arXiv:2501.01540 — BoxingGym: Benchmarking Progress in Automated Experimental Design and Model Discovery

实验设计与模型发现评测。标题经核验。

arXiv:2408.06292 — The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

端到端 AI 科学家系统。标题经核验。

站内深读：Automated Capability Discovery

跨论文比较：能力发现与科学洞见是不同评测对象。

站内深读：ExplorationBench

跨论文比较：探索行为与机制预测、洞见支持相邻但不等价。

站内深读：Agent’s Last Exam

仅用于提出跨基准证据单位对齐的比较提醒。

Declaration on Math and AI（mathandai.org）

"A Severe Misalignment of AI in Mathematics"；全文已抓取，论文引用其"severe misalignment"表述。

OpenAI — On the Navier–Stokes Millennium Prize Problem（2026-09-08）

论文引用的"AI 突破"证据；页面存在与日期已核验，内容细节未核验。

论文内其余引用（Tao 2026 mathstodon 帖、Gottweis et al. AI co-scientist、各域源研究等）按论文 References 一节给出，均为公开链接；本页仅在叙述中提及、未逐条链接。图片版权：全部 23 个编号图来自焦点论文 PDF（arXiv 2610.00492v1）的页面渲染裁剪，仅用于学习笔记。