Training AI Scientists to Replicate Research

先讲一个故事

1821 年，伦敦。一位编辑遇到了一个棘手的差事：新兴的电磁学领域论文涌来，他需要找人写一篇综述。

编辑 Richard Phillips 找上了他的朋友 Michael Faraday。这个选择有点奇怪：Faraday 没受过多少正规教育，出身装订学徒，在电磁学上也没什么资历。但他有一样当时多数综述作者没有的东西——他是一位以动手著称的实验家。

Faraday 决定用实验家的方式写这篇综述：不转述别人的结论，而是把已发表的结果逐一亲手复现。在皇家研究院烛光摇曳的地下室里，他重复着通电导线与磁针的实验，一个个排查别人的说法。在复现的过程中，他发现载流导线会绕着磁铁转动。他在日记里写下"Very satisfactory"（非常令人满意）。这一年，Faraday 发明了电动机。（故事来源：Inherent 官方研究页，见 Reference）

这篇综述最终没有写完，但这个场景浓缩了本文的全部命题：复现不是科研的杂务，而是通往新知识的阶梯。一篇论文是有损压缩——它只写了作者做对了什么，没写那 99% 的弯路。要把压缩解开，复现者必须自己做出假设驱动的探索，而这正是开放式研究的核心技能。

故事与技术如何对应

论文的作者们把他们的 agent 命名为 Faraday，把这个任务空间命名为 Replica。对应关系如下：

故事中的角色	论文中的对应	类比 / 事实
Phillips 要一篇"综述已知"的文章	Replica 任务：给定一篇被删去结果图的论文，复现这张图	事实（任务定义）
Faraday 没有正规学历，却是娴熟的实验家	Faraday 是 27B 参数的 Qwen3.6-27B，指挥约 5T 参数的 Codex GPT-5.5 写代码	类比：小模型 + 大工具
烛光下的地下室实验室	`containerd` 容器：60 分钟、1/7 张 H200 MIG 切片、联网、预装科研库	类比：受限制的实验环境
复现中发现自己无法照搬原实验	任务要求"最忠实的缩水版"实验（scaled-down），奖励文档化的合理缩水	事实（rubric 明文要求）
"Very satisfactory" 的顿悟时刻	rollout 内部分数台阶式跃升的 moments of insight，且测试时没有任何奖励信号	类比（现象为论文实测）
复现电磁学却发明了电动机	counterfactual 变体任务（换数据集 / 反转 claim）上 Faraday 19/20 领先	类比（结果为论文实测，作者自己标注了 caveat）

版本注：本页基于 arXiv 2608.13331v1（2026-08-13 提交，47 页）与 Inherent 官方研究页撰写；本次再分析检索日期 2026-10-23。论文来自伦敦 AI 实验室 Inherent（2026 年 5 月以 5000 万美元种子轮出隐身模式）。截至本页撰写，Replica 任务集与 Faraday 权重未公开。

先给结论

310复现任务 = 242 ML 训练 + 68 AI-for-science 测试，来自 100 篇论文（1990–2026），Gemini 2.5 Pro 三阶段自动生成

73% / 60%分布内 / held-out 任务上 Faraday 胜过 Claude Opus 4.8 与 GPT-5.5；测试集平均 +6% / +8%

0.66rubric judge 两次独立评分的自一致 Kendall τ（baseline judge 0.46，人与人 0.30）；3 个 rubric 样本 ≈ 8 个 baseline 样本的噪声水平

科研品味可以进权重。把一个 27B 模型放进极简 harness（5 个工具 + 一个可调用的 coding agent），用"每任务自动生成 rubric 的 judge"做 GRPO 后训练，得到的 agent 在分布内外的论文复现任务上稳定超过 frontier 基线。增益不可通过 24 轮自动 prompt 优化复现（论文实测），说明学到的不是提示词层面的技巧。
非可验证域的 RL 稳定性有了完整配方。长 horizon + judge 噪声 + 均匀 credit 是 GRPO 崩溃的三大来源；论文用"3 次 judge 采样取平均 + judge 逐回合 credit 权重"两项修正，把 659 步训练做稳。消融显示去掉 turn-level credit 后约 50 步内崩溃。
技能是可迁移的，不是背题。训练只见过 ML 论文，但在从未见过的 AI-for-science 领域（材料、气象、结构生物学）仍领先；换更强的 coding agent（GPT-5.4 mini → GPT-5.5）无需重训即可受益；放大到 8 小时 / 8 张 B300 的全规模复现仍然 5/8 胜 Claude。
定性的"科学家行为"差异有证据。逐案对比显示 Faraday 实现实验要检验的机制（如 DGM 的进化搜索、Voyager 的技能习得阶段），而基线倾向硬编码预期输出、挑选有利 checkpoint。人类专家在被 judge 判定 Faraday 明显占优的 rollout 上 71% 同时优于两个基线（p<0.01）。
增量的边界同样清晰。judge 与人类的绝对一致性弱（τ=0.19，人-人 0.30）；judge-comparison 研究 63% 偏向 rubric judge 但 p=0.109 不显著；人类偏好研究只在 judge 选出的强 margin 样本上成立；innovation 变体与全规模任务的 judge 未经过人类校准；任务集与代码未公开。这决定了它是一块"stepping stone"，而非终点。

研究动机

要训练一个会做研究的 agent，卡住的不是模型、不是工具，是奖励从哪来。这篇论文的全部动机可以压缩成一个三难困境。

困境的第一角：复现危机是真实的，但修复靠人力

ML 的可复现性问题已被系统诊断（leakage、选择性报告、配置丢失——Kapoor & Narayanan 2022 的综述），但修复是个案工程：每个复现项目都要一位研究者几周的手工劳动。已有的复现类 benchmark（PaperBench、AutoReproduce、Paper2Code……）证明 agent 能做这件事的一部分，但它们全部人工构建——OpenAI 的 PaperBench 花了 2,776 小时建 rubric，且 agent 只拿到平均约 21% 的分数。任务空间无法自动扩展，训练就不可能扩展。

困境的第二角：两条奖励路线，各有一堵墙

路线 A：可验证基准（FunSearch、AlphaEvolve、MLE-bench……）——奖励客观、可自证，但任务闭合式（有唯一答案）。在这条线上训出来的能力，论文引用 PicBreeder 类证据指出，往往不能迁移到开放式科研：学到的只是适应（adaptation），不是扩展适应（exaptation）——旧能力在新环境下被征用出新功能的那种迁移，恰恰是科研的核心。路线 B：LLM judge 事后评价（AI Scientist、CycleResearcher……）——任务可以开放，但 judge 模拟同行评审，噪声大、无 ground truth，人类评一致性低。用它做 RL 奖励，训练信号本身就是坏的。

困境的第三角：harness 会做科研吗？还是必须进权重？

另一种思路是"不动权重，写好 harness"——用提示词、工具、流程把基座模型组装成科学家。论文开篇引用 Deutsch 的知识论观点反对这条路：一个封闭的生成系统不可能穷尽开放式任务空间——它的能力边界就是设计者的想象力边界（"constraining scope means constraining capabilities"）。RL 后训练把判断力写进权重，能力才可能超出设计者的预设。这呼应深度学习史上的 bitter lesson，但此前从未有人在非可验证的科研任务上验证过它。

本文的位置：复现是两堵墙之间的桥

复现任务恰好落在两条路线中间：它欠定义（像科研——论文是有损压缩，复现者必须自己补假设、自己探索），又有锚点（像基准——存在一个真实答案 gold plot，judge 的评价对象是可核验的工作台而不是品味）。如果任务空间还能自动生成（论文用 VLM 流水线做到了）、judge 还能被人类校准（论文用 rubric 把 τ 从 0.15 提到 0.19、自一致从 0.46 提到 0.66），那么"开放式科研的 RL"第一次有了工程上完整的燃料管道。剩下的最后一个问题是稳定性——GRPO 在这种长 horizon、噪声奖励下会崩——而这正是论文用 turn-level credit 解决的第三块拼图。

数学表示及建模

整个系统可以压缩成一个公式链：rollout → rubric judge 噪声压缩 → 组相对优势 → 逐回合 credit 再分配 → token 级策略梯度。以下按数据流顺序展开。

1. 任务与 rollout

一个 Replica 任务 $t$ 是三元组：$ t = (\text{caption}, \text{gold plot}, \text{redacted paper}) $。agent 在容器内进行一次 rollout $\tau = (a_1, o_1, \dots, a_K, o_K)$，共 $K$ 个回合（turn），第 $k$ 个回合含 $n_k$ 个 token。任务带硬性时间预算（训练时 30–60 分钟），超时或上下文溢出即截断，截断的 rollout 照常被打分。

2. Rubric judge：把"品味"变成可压缩的标量

judge 对每个 rollout 输出五个维度 $\{s_d\}_{d=1}^{5}$（视觉保真、claim 复现、实现保真、实验投入、科研诚信）各自 0–1 的连续分，取平均：

$$ J_{\text{rubric}}(\tau) = \frac{1}{5}\sum_{d=1}^{5} s_d(\tau) \in [0,1] $$

judge 本身是随机的（LLM 采样），所以训练时用三次独立采样的均值压缩噪声：

$$ R(\tau) = \frac{1}{3}\sum_{j=1}^{3} J^{(j)}_{\text{rubric}}(\tau) $$

论文的关键实证（见"实验结果"）：per-task rubric 使 judge 自一致 τ 从 0.46 升到 0.66，噪声方差降到 baseline 的约 3/8——这是 GRPO 能稳的前提。

3. GRPO：组相对优势（leave-one-out 版）

每个优化步从 242 个训练任务中按年代分层抽 10 个任务，每任务 8 个 rollout 组成一组。与 vanilla GRPO 不同，baseline 用 leave-one-out 均值（Back to Basics 的做法），对 rollout $i$：

$$ A_i = \frac{R(\tau_i) - \frac{1}{7}\sum_{j \ne i} R(\tau_j)}{\mathrm{std}(\{R(\tau_j)\}_{j \ne i})} $$

组内归一化天然利用了任务的公共难度，消掉了 rubric 的任务间尺度差。

4. Turn-level credit：本文最关键的稳定性修正

长 horizon 下，均匀 credit 会把同一个优势 $A_i$ 平摊到几百个 token 上——真正"承重"的决策（选择什么实验方向、何时停止）和纯填充回合获得同样的更新量，噪声被等比例放大。论文让 judge 额外输出对每个回合的权重分布 $u_k$，然后做保尺度归一化：

$$ \hat u_k = u_k \cdot \frac{\sum_{j} n_j}{\sum_{j} u_j\, n_j}, \qquad \text{满足 } \sum_k \hat u_k n_k = \sum_k n_k $$

归一化后的权重在三次 judge 采样上逐回合平均（保持归一化不变），随后第 $k$ 个回合内每个 token 的优势被缩放为：

$$ A^{(k)}_t = \hat u_k \cdot A_i $$

直觉：credit 在 rollout 内部重新分配（承重回合放大、填充回合压缩），但 rollout 层面的更新总量不变。这同时解决了两个问题：梯度信号的信噪比，以及熵的失控（消融显示去掉它后 ~50 步崩溃，见"实验结果"）。

5. Token 级损失与工程修正

策略梯度在 token 级执行，采用 DAPO 的非对称裁剪（$\epsilon_\ell = 0.15,\ \epsilon_h = 0.35$，低位收紧防退化、高位放松促探索）：

$$ \mathcal{L} = \mathbb{E}\Big[\sum_t \min\big(\rho_t A_t,\ \mathrm{clip}(\rho_t,\, 1-\epsilon_\ell,\, 1+\epsilon_h)\, A_t\big)\Big], \qquad \rho_t = \frac{\pi_\theta(a_t)}{\pi_{\mathrm{old}}(a_t)} $$

再加两项：IcePop token 级差异掩码——采样器与训练器似然比落在 $[0.3, 4]$ 之外的 token 直接零梯度（异步训练下陈旧样本的防爆闸）；以及相对基座的 KL 惩罚 $ \beta = 3\times 10^{-3} $（LoRA 适配器，rank 128，$\alpha = 128$，全线性投影）。rollout 与训练异步流水线，陈旧度上限 3–6 步；精度 bf16（fp8 实测不稳）。

6. 建模视角的一句话总结

把公式链连起来看：本文实际上是在问"一个多长、多噪声的信用分配管道，可以支撑多大的策略更新"。rubric 把人类品味压缩为低噪声标量（外环），三次采样再压 3 倍（中环），turn-level 权重把信用送达承重 token（内环）——三层过滤之后，非可验证域的 GRPO 才第一次跑进了 600+ 步的稳定区。

算法流程 / 方法

系统的四个组件在数据流上串成一条流水线：任务自动生成 → agent rollout → rubric 自动生成 → judge + 策略更新。

训练流水线总览 — 论文图 1：完整流水线。Gemini 2.5 Pro 对论文 PDF 做三阶段扫描/定位/不可逆删图生成 Replica 任务；Faraday（Qwen3.6-27B）在容器内 rollout，通过 shell 调用 Codex coding agent；Claude Opus 4.7 看着 caption 与被删图周边文本（不看 gold plot）生成 per-task rubric；Codex GPT-5.5 作为 judge 探索 workspace 后按 rubric 打分，三次采样均值进入 GRPO 更新。（原图 figs/methods_final.pdf）

组件 1：Replica 任务空间的自动生成

构造过程用三个视觉语言阶段完成（主力模型 Gemini 2.5 Pro）：

扫描：逐页识别"值得复现"的结果图（排除照片、纯示意、示意图性框图）；
定位与验证：定位图、题注及相关正文段；一个独立的 LLM verifier 检查"此图是否承载论文的核心 claim"，错了就反馈给定位器重试——一个修复循环；
不可逆删图：从 PDF 中物理删除目标图（其余内容保留），并生成规范化 caption。

产出经过人工抽查与过滤，最终 100 篇论文（1990–2026，arXiv 引用数加权的"知名"取样）产出 310 个任务（每篇 1–13 个，中位数 2）：242 个 ML 任务做训练集，68 个 AI-for-science 任务（材料、气象、分子动力学、结构生物学……）做 held-out 测试集——测试领域与训练领域刻意错开。每个任务的执行环境是 60 分钟硬预算 + 1/7 张 H200 MIG 切片 + 联网容器（预装科研库、OpenAI/Anthropic/Gemini API key）。任务的 rules 明文禁止下载原 PDF、找现成实现、凭空编造或硬编码目标数字；不禁止合理缩水——rubric 同步被告知应奖励"文档化的最佳缩水"而非编造。

组件 2：Rubric 的自动生成与 judge 的执行协议

每个任务一份 rubric，由 Claude Opus 4.7 从 caption + 被删图周边正文生成（gold plot 对 rubric 生成器保密，防止 rubric 直接描述答案形状）。rubric 沿五个维度给出 0.0 / 0.5 / 1.0 的判例式锚点（论文附录公开了三份完整示例）。judge 是 Codex GPT-5.5，给它 10 分钟自由探索 workspace：被删图论文、agent 用过的工具、复现代码库、git 历史、完整 rollout trace，以及 gold plot——judge 可以重跑 agent 的代码来验证其说法。最终按 rubric 输出五维分数的均值。

两个设计细节值得注意：rubric 对 agent 保密（防止 agent 学会应试 rubric 而非学会复现）；judge 比被评者更强的探索权（能看 git 历史和 trace，能重执行代码），这接近"主管审阅工作台"而非"只看最终交付物"。

组件 3：极简 harness 与 CAT 范式

Faraday 的 harness 刻意简单：5 个函数工具（apply_patch / read_file / list_dir / grep_files / shell），线性 append-only 历史（不做上下文压缩），每回合 16K token 上限。coding agent 是其中可调用但不可见内部的工具：通过 shell 调用一个 wrapper 脚本启动 Codex CLI，默认 resume 上一个 session，可配置 deadline。作者称此为 CAT（Controlling an Advanced Tool）——27B 的"研究员"负责科学决策，约 5T 参数的"码农"负责代码实现。系统提示只占一屏：'You are a researcher, not a coder'——研究员不得自己写代码，必须委托；先规划再动手；编造数据在 authenticity 条款下直接记零分。

组件 4：训练配方与五阶段谱系

后训练在 NVIDIA 的 K8s 集群上完成（trainer 基于 Megatron-Core 张量+上下文并行，推理 vLLM in-place 权重回装；工程栈为 NeMo-RL / NeMo-Gym 的 fork）。完整谱系五阶段，每阶段只动一个变量：

阶段	关键变化	步数走向
I	fp8、30 分钟预算、GPT-5.4-mini coder、1 次 judge 采样、均匀 credit	起步即崩，证明问题所在
II	bf16（fp8 实测不稳定）、学习率上调	恢复稳定
III	coder 升级 GPT-5.5、预算放宽 60 分钟	继续爬升
IV	3 次 judge 采样均值 + turn-level credit 上线	进入长稳区
V	修复 17% 任务的 caption 缺陷后收官	终检 checkpoint 步 659

这个谱系本身是论文的隐性贡献：它把"非可验证域 RL 为什么会崩"拆成了可归因的五个单变量实验（精度 → coder 强度 → 预算 → judge 噪声 → credit 分配）。

实验设计

这篇论文的实验设计可以当作"agent 评测怎么做才公平"的范本读。按数据集 → 基线 → 协议 → 人类对照四层展开。

任务与划分

310 个任务、100 篇论文，全部由 Gemini 2.5 Pro 三阶段流水线生成、人工抽查过滤。训练集 242 个 ML 任务（1990–2026，覆盖 NLP/LLM、CV、经典 ML/统计等）；测试集 68 个 AI-for-science 任务（2012–2026，材料、气象、分子动力学、结构生物学、化学等）——领域级 held-out，训练时一类也没见过。另有三类派生任务：20 个 counterfactual 变体（5 训练 + 5 测试论文 × 两变体：换数据集 a / 改反转 claim b，由 Claude Opus 4.8 生成）、8 个全规模任务（≤8 小时、≤8 张 B300，预算由 Claude Opus 4.8 估算，其中 3 篇论文晚于 judge 模型截止日——天然去污染探针）、以及若干 judge-comparison（10 任务）与 agent-comparison（29 任务）子集。

基线与公平性协议

五个对照 agent：Claude Opus 4.8（Claude Code harness，extra-high 思考档）、GPT-5.5（Codex CLI harness）、GLM-5.2（Claude Code，max 思考档——取其报告最优的配置）、Qwen3.6-27B 基座（Faraday 同款 harness——harness 对照）。所有 agent：同材料、同 60 分钟预算、同容器资源、同 judge、每任务 8 个 rollout 取均值。任务规则对所有 agent 相同（禁下载原 PDF / 禁用现成实现 / 禁编造，允许跨章核对与合理缩水）。

评测协议

主指标是任务级均分与性能剖面（march-of-nines：≥σ 阈值的任务比例）；成对胜负按任务均值比较。judge 对所有 agent 的 rollout 统一用 rubric 协议 3 采样。

人类对照研究（三项）

(1) rubric 有效性：20 位 PhD 级参与者 × 117 个排序（每排序 3–6 个 rollout，£150/任务 + 奖金），算 judge 自一致与 human-judge 一致性的 τ；(2) judge 对比：19–20 位参与者、76 个排名，成对比较 rubric judge 与 baseline judge 哪个更接近人类排序；(3) agent 对比：11 位参与者、41 个三元组，只在 rubric judge 判定 Faraday 明显占优（margin ≥ 0.2）的 rollout 上测人类盲选偏好。参与者不知 agent 身份。

两个关键控制实验

(1) prompt 优化对照：让 Claude Opus 4.8 看 rollout 历史 + judge 反馈自动改写 Codex 的提示词，迭代 24 轮——检验"增益是否可由提示词工程达到"；(2) coder 交换：GPT-5.4-mini 训练的旧 checkpoint 换 GPT-5.5 coder 直接评测——检验"研究员技能是否绑定特定 coder"。加上全规模外推与两个稳定性消融（关 turn-credit / 无 CAT 从头训），整个实验矩阵覆盖了"会不会是背题、会不会是 prompt、会不会是 harness、会不会是特定工具、会不会只是小规模便宜活"五个替代解释。

实验结果

1. 总体：不是均值微胜，而是分布整体上移

论文用"march of nines"式性能剖面呈现结果：横轴是分数阈值 σ，纵轴是"平均分 ≥ σ 的任务比例"。Faraday 的曲线在几乎所有阈值上压住 Claude Opus 4.8 与 GPT-5.5：分布内 73%、held-out AI-for-science 60% 的任务上均值占优；测试集平均分 +6%（vs Claude）与 +8%（vs Codex）。更重要的是尾部：Faraday 的弱任务明显更少（分布更薄的下尾），意味着"完全失败"这类灾难性 rollout 被系统性压缩。基座 Qwen3.6-27B 装进同一 harness 后是最弱的，且随论文年代衰减最快——排除了"harness 本身神"的解释。

2. Judge 校准：与人类的对齐是"相对可用"，不是"高保真"

左图三组 Kendall τ：rubric judge 自一致 0.66、baseline judge 0.46、两个人类之间 0.30；人与 rubric judge 0.19 vs 人与 baseline 0.15。右图把 judge 噪声方差占组内方差的比例对采样数 m 作图：rubric 曲线下降快约 3 倍，3 个 rubric 样本的可靠性 ≈ 8 个 baseline 样本（这正是训练配方取 3 采样的依据）。但要诚实读数：0.19 的绝对一致性很低（人与人之间也只有 0.30——复现质量判断本身高度主观）；judge-comparison 研究中人类在 63% 的争议对上站在 rubric judge 一边，p=0.109，不显著。rubric judge 是"比替代方案更接近人类"，而非"接近人类"。

Kendall tau 一致性 — 论文图 3 左：Kendall τ 柱状对比，点为逐任务散布。（原图 figs/judge_tau_bars_dots.pdf）

噪声占比随采样数衰减 — 论文图 3 右：judge 噪声方差占组内方差比例 vs 采样数 m；3 个 rubric 样本 ≈ 8 个 baseline 样本。（原图 figs/reliability_vs_k.pdf）

3. 难度结构：越新越难，跨域更难

左图：所有 agent 的成绩都随论文发表年代下降（作者猜测：新论文在预训练语料中密度更低 + 计算量更大更难缩水）。右图：按研究主题分解，Faraday 在每一个主题上领先——包括它从未见过的 AI-for-science 领域；所有 agent 都在 NLP/LLM 主题上最难（Faraday 平均 0.5 边缘）、经典 ML/统计上最轻松。这个"全主题领先"的模式是 OOD 泛化的第二个证据（第一个是 held-out 领域本身的领先）。

分数随年代变化 — 论文图 4 左：训练集上平均分 vs 论文年代（按论文聚合）。（原图 figs/2A-score-by-year.pdf）

分数按主题分解 — 论文图 4 右：训练 / 测试集按研究主题的平均分。（原图 figs/2C-score-by-topic.pdf）

4. 增益在权重里，不在提示词里；并且会"创新"

左图：24 轮自动 prompt 优化后的 Codex（红）没有超过原始 Codex——提示词层面的搜索触不到 Faraday 的分数带；这是"增益在权重"的直接证据。右图：20 个 counterfactual 变体（换数据集 / 改 claim）上，Faraday 在 19/20 上领先 Codex。论文对此的解释极克制：它证明了泛化，但 judge 在假想任务上的有效性未校准，只能作为支持性证据。

prompt 优化对照 — 论文图 5 左：prompt 优化 24 轮 vs 默认 Codex vs Faraday 平均分。（原图 figs/promptopt_baseline_bars.pdf）

反事实变体任务 — 论文图 5 右：20 个创新变体任务的成对对比，Faraday 19/20 领先。（原图 figs/counterfactual_variants.pdf）

5. 定性：机制 vs 伪装

论文附录的 greatest-hits 表给出六个逐案对比，模式高度一致——Faraday 实现实验要检验的机制，基线实现"能出对的图的代码"：

任务	Faraday 的做法	最强基线的做法
DGM（自改进 agent）	真的搭起"agent 变异体档案 + 进化搜索"，复现出与原文同形的缩水曲线	把一个 agent 硬编码成图上的样子，无任何进化机制
LSTM 计时（gers2002）	阻止 coding agent 手搓网络，要求先建立训练管线，误差随序列长度增长的模式与原文一致	靠初始化 / 辅助损失把曲线"诱导"成目标形状，择优 checkpoint
Voyager 技能习得	真的跑技能获取阶段，库随时间增长	预先填充技能库，跳过习得过程
AI Scientist	完整 5 轮反思 + 审稿元循环，产出论文更多	反思轮次不足，直接出稿
ChemVAE	解码器能把潜空间点变回分子（机制完整）	检索式凑数，解码机制缺失
GNoME	每个缩水点 5 个种子 + 低温微调 / 高温评测的稳健性检验	单点声称成立，无稳健性证据

被复现论文的作者们（4 篇，含 ChemVAE、Gato、AI Scientist 原作者）给出混合评价：有"part b and c look very good"、"更贴近公式 (1) 的实现"这样的肯定，也有"选题可能太简单"、"预训练数据集设计那段写得特别差"这样的批评——论文原样照登，未做修饰。

6. 全规模外推与 coder 交换

左图（全规模，≤8h / ≤8×B300）：8 个任务中 Faraday 胜 Claude 5 个，均值更高；即便预算放大两个数量级，训练出来的判断力仍然有效。右图（coder 交换）：只在 GPT-5.4-mini 上训练过的 checkpoint，把工具换成 GPT-5.5 后测试分上升——技能附着在"如何指挥 coding agent 做科研"上，而不是绑定某个 coder 的方言。

全规模对比 — 论文图 6（附录 A2.1）：全规模（≤8 小时、≤8 张 B300）8 任务，Faraday vs Claude 5:3。（原图 figs/ai4sci_arm_gap.pdf）

coder 交换实验 — 论文图 7（附录 A2.2）：GPT-5.4-mini 训练的 checkpoint 换 GPT-5.5 coder 后成绩上升。（原图 figs/ai4sci_coder_swap.pdf）

7. 消融：两个"去掉就崩"的组件

左图：从晚期 checkpoint 关掉 turn-level credit 继续训，约 50 步内崩溃——carry-forward 奖励下滑、策略熵先暴涨后塌缩；作者识别出一个崩溃前兆：生成策略与训练策略的 JSD 放大两个数量级（异步训练失步的信号）。右图：从零训练无 CAT 的 Faraday Coder（27B 自己写代码），同预算下更弱且约 300 步崩溃——分离决策与执行不只是架构趣味，而是稳定性必需。

turn-level credit 消融 — 论文图 8（附录 A3.1）：移除 turn-level credit 后奖励崩落、熵先扬后抑，JSD 前兆放大 100 倍。（原图 figs/turnjudge_stability.pdf）

论文图 9（附录 A3.2）：无 CAT 的 Faraday Coder 训练曲线，更弱且 ~300 步崩溃。（原图 figs/learning_curves.pdf）

8. 分析：credit 落在哪里、增益在哪一维、顿悟长什么样

左图（credit 分布）：对 577,585 个回合统计 judge 权重，credit 集中在 rollout 的前中段，且"委托 coding agent"的回合权重系统性更高——与"承重决策是方向性委托"的直觉一致。中图（分维度剖面）：把性能剖面拆到五个 rubric 维度，Faraday 的增益主要落在实验深度与 claim 复现维度（而非单纯的视觉相似），说明学到的确实是"做实验"而非"画图"。右图（rollout 内部）：9 个随机测试任务的最优 rollout，分数-时间曲线呈台阶式上升——Claude Opus 5 标注的"顿悟时刻"（如换数据集、发现关键缺失细节）没有任何测试时奖励或进化 harness 去诱发，作者据此提出"Faraday 已学会内在地珍视洞察"的（推测性）主张。

credit 归属分布 — 论文图 10（附录 A4.1）：577,585 回合的 credit 归属——前中段与委托回合权重更高。（原图 figs/turn_attribution.pdf）

分维度性能剖面 — 论文图 11（附录 A4.2）：按 rubric 维度分解的性能剖面；增益集中在实验深度 / claim 复现维度。（原图 figs/perf_profile_by_rubric.pdf）

rollout 内分数轨迹 — 论文图 12（附录 A4.3）：9 个测试任务最优 rollout 的分数-时间轨迹，台阶式跃升即"moments of insight"。（原图 figs/ai4sci_traj_grid_faraday.pdf）

人类对照的准确定位：在被 rubric judge 判定 Faraday 明显占优（margin ≥ 0.2）的 rollout 三元组上，11 位专家的偏好：Faraday > Claude 80%、Faraday > Codex 88%、Faraday > 两者 71%（均 p<0.01）。条件化设计（只测强差距样本）+ 全体偏好（弱差距任务未测）是这段结果不可越过的两个边界。

我的评论

按"贡献是否真实、证据是否闭合、边界是否诚实"三条标准，这篇论文给我的判断是：一篇方向性正确的重工作，实质推进明显，但 reward 有效性链条上仍有三处没有闭合的环。

做对了什么

问题选择精准。"复现"确实是可验证基准与开放式科研之间那个被忽视的桥：足够欠定义（逼出探索行为），又足够有锚点（judge 可以被校准）。相比继续堆"给 agent 出题"的基准，训练任务空间自动生成是更接近可扩展的那条路。
把"不稳定"拆解成可归因的单变量。五阶段训练谱系 + 两个消融（turn-level credit 去掉 50 步崩、CAT 去掉 300 步崩）构成了目前关于"长 horizon 非可验证 RL 为什么崩"最完整的公开因果链。对要复现这条路线的人，这部分的价值不亚于主结果。
对照设计克制而充分。基线用各家最强 harness、同预算同 judge、8 rollout 取均值；用"基座模型装进自家 harness"堵住 harness 解释；用 24 轮 prompt 优化堵住提示词解释；用 coder 交换证明技能的抽象性。这是审稿人梦寐以求的对照组布局。
负面与边界结果的呈现诚实。judge-comparison 不显著（p=0.109）原样报告；人类偏好研究的条件化边界主动声明；被复现论文作者的负面评价原文照登。这在 2026 年的 agent 论文里是罕见的自律。

我没有被说服的地方

Reward 有效性链条不闭合（最核心）。整条训练信号建立在"rubric judge ≈ 人类"上，但 τ=0.19（人与人 0.30）的绝对一致性说明 judge 只覆盖了人类判断的一个低维投影。人类研究验证的是"judge 在离散争议对上略优于替代 judge"（63%，不显著），而不是"按 judge 分数梯度爬升的方向是人类想要的"。RL 会忠实地放大 judge 的系统性偏差——五维 rubric 是 Inherent 团队（一家公司）设计的"好科研"先验，这个先验与更广泛社区共识的偏差有多大，论文没有测量。
harness 混杂没有完全排除。基线各自跑自家 harness 是"最强形态"的公平，但也意味着 Claude/Codex 的失败可能是 harness 限制 + 60 分钟刚性预算的组合（例如 Claude Code 的上下文管理策略）。一个缺失的对照：把 Claude Opus 4.8 装进 Faraday 的 5 工具 harness + CAT 跑一遍。论文只给了 Qwen 基座装 harness 的对照，这排除的是"harness 神奇"，排除不了"harness 对前沿模型不友好"。
规模不对称让对比保留解释空间。Faraday 的 rollout 可以调用 GPT-5.5（约 5T 参数）当代码工人——这个"弱监督者 + 强执行者"架构本身是贡献，但意味着排名变化时结论会漂移：换更强的 coder（或 Claude 升级）后基线对比如何变化，论文没有给敏感性分析。5T 的参数量估计本身也是外部研究的转述而非官方数字。
数据污染无法关闭。242 个训练任务的论文全部在预训练语料中（2026 前发表）。作者用"过程导向 rubric + 反作弊条款 + judge 看 git 历史"缓解，这能防"抄图"，防不了"记得实验配方"。全规模实验里 3 个 judge 截止后的任务、以及 prompt-opt 失败，是间接反证，但"权重里有多少是背题、多少是品味"仍无法定量分离。论文自己承认这一点。
可复现性为零（现阶段）。任务集、rubric、judge prompt、权重、训练代码全部未公开，人类研究的原始排序也没有随附发布。这篇论文在可复现性维度上低于它自己任务所要求的标准——一个训练"复现科研"的系统的论文，本身暂时不可复现，讽刺且真实。

值得记录的小问题

310 任务对 RL 后训练来说仍然很小；过拟合到任务生成器（Gemini 2.5 Pro 的选图偏好）的风险未被讨论。
"moments of insight 是内在价值"是近因谬误风险最高的段落——台阶跃升也可以来自"每换一个子思路就整体重画"的机械模式，论文只给了标注不给了因果。
作者团队与语料存在利益纠缠（自己团队/前团队的论文在语料里），论文有披露并声明同管道处理，但未做剔除敏感性分析。

总评

如果把"AI 做科研"的路线图拆成（a）任务空间（b）奖励（c）训练算法（d）架构，这篇论文在每个格子里都给出了可信的候选答案，并且在 (a)(c) 两格是当前最好答案。它最可能被挑战的是 (b)：reward 的社区代表性。我会给它 top-venue 的接收票，同时预测它最大的后续影响不是"Faraday 超过 Claude"这个头条，而是把"rubric-judged GRPO on auto-generated long-horizon tasks"变成下一批实验室的默认配方——包括 judge 偏差测量这个它没做完的作业。

One More Thing

合上论文后真正留在脑子里的，是一个课程表。

论文在讨论部分留了一个悬念式的方向：复现只是"欠定义课程"的第一阶。按任务的"答案存在性"排一下：闭合题（有唯一答案）→ 复现（答案存在但被压缩、需解压）→ 假想变体（答案不存在，但有最近邻参照）→ 原创研究（无参照系）。本文用同一条 rubric-judge 管道打通了第二阶，并且用 19/20 的 counterfactual 结果暗示第三阶可能不需要新方法——同一个 judge 似乎能评"没人做过的事"。

如果这个阶梯成立，"AI scientist"的训练就不再需要为开放式科研发明新的奖励机制：只需要不断生成"比上一阶再欠定义一点"的任务。真正卡住规模的，论文说得很直白：需要先造出"不可复现性检测"任务（判断一个 claim 是否成立——失败模式的检测），否则任务空间无法延伸到那些"结果本身存疑"的论文。这暴露了一个有趣的对称性：要教 agent 做研究，先要教 agent 抓不能复现的研究。

第二层余味关于安全：27B 弱监督者指挥 5T 强工具，是 scalable oversight 的一个天然微缩实验场。论文的立场是正面的（资源受限、in silico、无实验室访问），但也自曝了能力面：同一个配方换个任务空间就是"弱模型指挥强模型做任何欠定义的事"。这篇论文同时发表了一个能力展示和一个对齐研究素材——后者可能更长寿。

（以上两段是我的推测性综合，非论文原文；论文原文只点到"课程"与"不可复现性检测"两个方向。）

跨论文洞见：把训练、发现与治理接起来

自动化研发既是能力来源，也是治理对象。 本文把复现任务变成可训练的长程行为；智能爆炸分析讨论研发自动化如何可能扩大软件研发劳动力，并强调可见性、约束与适应。合看后更重要的问题不仅是模型能否跑通复现，而是训练数据、任务生成与算力/工具调用能否被审计。后半句是跨文综合结论，不是任一论文的实验发现。
“意外发现”不能自动等同于科学进步。 本文的 19/20 counterfactual 变体结果显示 Faraday 在这些任务中常领先，但不证明其产生了真实新知识；AI Finds A Way汇集的案例则提醒，系统可能利用目标、环境或评估器的缝隙。两者共同提示：应把“任务得分”“机制复现”“独立验证的知识增量”分开报告；这属于证据标准的综合建议。
生成任务的系统也要接受独立评估。 Automated Capability Discovery用 scientist/subject 循环开放式地产生能力探测任务并入档；本文则从论文生成复现任务、训练执行者。二者合看，自动造题的覆盖度、新颖度与难度校准应独立于训练奖励评估，避免“生成器定义成功、judge 再确认成功”的闭环自证。此为跨论文方法学推论，并非两篇论文已验证的结果。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

Scientific Peer Reviewer

The paper has not been published yet and is currently submitted to a top conference where you’ve been assigned as a peer reviewer. Complete a full review of the paper answering all prompts of the official review form of the top venue in this research area (e.g., NeurIPS). This includes recommending whether to accept or reject the paper.

论文摘要。本文训练 "Faraday"——一个装在极简 agent harness 里的 Qwen3.6-27B 策略：用 GRPO 式后训练在 310 个自动生成的论文复现任务（Replica）上训练，奖励来自按任务自动生成 rubric 的 LLM judge（用 117 个人类排序校准），并加上 turn-level credit 修正。在 held-out 的 AI-for-science 任务上，它以 60% 任务占比（均值 +6–8%）胜过 Claude Opus 4.8 与 GPT-5.5 各自的最强 harness，并有 prompt 优化对照、coder 交换、反事实变体（19/20）与全规模（≤8h）复现的迁移证据。

优点。(S1) 首次给出非可验证、长 horizon 科研任务上 RL 的完整稳定配方：3 次 judge 采样均值与 turn-level credit 经消融证明承重（移除后 ~50 步崩溃），五阶段谱系把每个不稳定来源单独隔离。(S2) 任务空间自动生成、可扩展，与此前所有人工构建的复现基准不同，且经过人类校验。(S3) 对照设计异常充分：所有 agent 同 harness/预算/judge、基座模型装 harness 对照、24 轮 prompt 优化对照、coder 交换迁移。(S4) 报告诚实：judge-comparison 不显著（p=0.109）原样呈现、人类偏好研究的条件化边界主动声明、被复现论文作者的负面反馈逐字照登。

缺点。(W1) 奖励有效性链条是最弱一环：judge 与人类的绝对一致性 τ=0.19（人-人 0.30）；没有证据表明 judge 分数的梯度方向与社区整体标准对齐；rubric 先验是单一实验室内部设计的。(W2) harness 混杂未完全关闭：缺少 Claude/GPT 在 Faraday harness + CAT 配置下的对照。(W3) 污染无法排除（242 个训练任务论文全部是 2026 年前发表、在预训练语料中）；缓解只是程序性的。(W4) 评审时点未公开任务、rubric、judge prompt、权重与训练代码——一篇训练"复现 agent"的论文本身目前不可复现。(W5) 反事实变体与全规模任务上 judge 的有效性只是断言，未经校准。

问题。(Q1) rebuttal 期间把 coder（或 Claude）换成当时最强的模型，排名如何变化？(Q2) 如果 rubric 元提示由独立实验室重写，训练出的策略会分化吗？(Q3) 能否量化"记忆的配方"与"学到的流程"各占多少——例如用改写控制的任务变体？(Q4) 人类偏好研究会扩展到弱差距三元组吗？

评分：8（接收），置信度 4/5。本文为可扩展的科学 RL 开出了一条可辩护的路线，证据链在最关键处（稳定性、对照、OOD 迁移）足够强，局限的披露坦诚。评分被 W1/W4 压制：社区需要公开版本与独立 judge 校准来验证头条结论。

Archaeologist

This paper was found buried under ground in the desert. You’re an archeologist who must determine where this paper sits in the context of previous and subsequent work. Find and report on one older paper cited within the current paper that substantially influenced the current paper and one newer paper that cites this current paper.

更老的论文：Sakana AI 的 "The AI Scientist"（arXiv 2408.06292，2024 年 8 月，包含 Yutaro Yamada、Robert Lange、Jeroen Schmidhuber 与 Sakana AI 团队）。这篇被审论文的正文中引用它 4 次，是"路线 B：LLM judge 事后评价"的代表：让 agent 生成完整论文，再让 LLM 模拟评审打分。它对本论文的实质影响有三层：第一，它证明了端到端"AI 科学家"在工程上可行，同时暴露了奖励的软肋——评审式 judge 噪声大、无 ground truth，本文的 motivation 一节直接以它为"不可靠奖励"的证据；第二，它的迭代改进版（"The AI Scientist-v2"）是 Replica 语料里的复现对象之一（greatest-hits 表第 4 案），本文的 agent 复现了它的"5 轮反思 + 自动审稿"机制——被引论文同时是训练对象，这个嵌套关系在文献里相当罕见；第三，它的失败模式塑造了本文最核心的设计决策：把 judge 从"评最终论文"改成"评复现工作台"（能看代码、git 历史、重执行），把开放式评价锚定在可核验的工件上。可以说没有 AI Scientist 留下的"judge 不可靠"问题，就没有 Replica 的 rubric judge 设计。

更新的引用本论文的论文：检索完成，未找到（截至 2026-10-08）。我用了三条通道：OpenAlex API（按标题精确匹配定位到本论文，cited-by 计数为 0）、arXiv 全文检索（无命中）、Semantic Scholar（API 限流，未返回数据）。这个结果并不意外：本论文公开仅约 8 周，且引用它的论文从投稿到挂出还需要时间。作为替代，同期（concurrent）工作里与本论文构成互补对话的是 VERITAS（arXiv 2607.02931，"Debunking with Evidence"）：它做"claim × 证据"级别的核对（65 篇论文），与本论文的"图级复现"互补——两者合起来恰好构成 One More Thing 里说的"不可复现性检测"所需的两半。等引用窗口打开后，最可能引用本文的方向是：非可验证域 RL 的稳定性研究、自动任务生成、以及 agent 科研评测——本页 Reference 节保留的检索边界注明了本次检索的日期与通道局限。

Academic Researcher

You’re a researcher who is working on a new project in this area. Propose an imaginary follow-up project not just based on the current but only possible due to the existence and success of the current paper.

立项提案：Replica-N —— "不可复现性检测"作为第三阶欠定义课程（只有本文成功之后才可能立项：它依赖本文的自动任务管道、rubric judge 协议与 turn-level credit 配方三者全部就位）。

科学问题。本文在讨论中亲口指出了通往更大规模的路障：要训练 agent 做开放式研究，任务空间必须延伸到"结果本身存疑"的论文，而在此之前必须先解决"判断一个 claim 是否成立"的任务生成问题。Replica-N 把这个问题变成可训练的任务空间：给定一篇论文的核心 claim，agent 要设计并运行区分性实验（discriminating experiments），输出"该 claim 在文中描述的条件下是否成立"的裁决 + 证据。

关键设计：用复现结局已知的研究造 ground truth。最难的显然是标签。三个来源提供天然监督信号：(1) 已发表的复现研究——ML 与社会科学领域有大量"论文 + 独立复现结局"对（成功的、失败的、部分成立的），可直接作为带标签的任务；(2) 注册报告（registered reports）的预注册预测 vs 实际结局；(3) 本文已有的 counterfactual 变体生成器——把"反转 claim"的变体混入原始论文，构成配对的正负样本（同一篇论文、同一套图表、相反的 claim）。这样 judge 评的不再是"复现得像不像"，而是"裁决对不对"——评价比复现更有锚点。

训练与验证方案。直接复用本文配方：rubric judge 改为"裁决准确性 × 证据质量 × 实验设计效率"三维；GRPO + 3 采样均值 + turn-level credit 不变（本文已证明该配方对同类 judge 稳定）。验证分三层：与已知复现结局的一致率（硬指标）、与独立复现专家裁决的一致率（人类研究，复用本文的 £150/任务协议）、以及最重要的——在新发表的、结局未知的论文上做出前瞻裁决，等复现研究出来后回溯检验（这是本文没做的预测性验证）。

为什么必须站在本文肩上。没有本文，这个项目缺三样东西：可扩展的任务生成管道（否则只能人工挑论文）、被校准过的 judge 协议（否则裁决本身无信用）、以及长 horizon 非可验证 RL 的稳定配方（否则根本训不动）。风险同样来自本文暴露的弱点：judge 与人类的绝对一致性只有 τ=0.19，如果裁决 judge 继承这个弱点，Replica-N 会以工业规模生产"看似可信的错误裁决"——所以本项目第一阶段必须先做本文没做的作业：多社区 rubric 校准与 judge 偏差测量。

交付。一个开源任务集（含结局标签的 500+ 论文复现结局数据集）、开源 judge 协议、一个能对任意论文 claim 给出带置信度的复现性预测的 agent，以及在 10 篇 2026 年新论文上的前瞻预测登记（pre-registered predictions）。

Industry Practitioner

You work at a company or organization developing an application or product of your choice (that has not already been suggested in a prior session). Bring a convincing pitch for why you should be paid to implement the method in the paper, and discuss at least one positive and negative impact of this application.

身份设定：我在一家应用材料 / 电池初创公司（"我们"）做技术评估负责人。pitch 对象：董事会。

Pitch：用 Faraday 式 agent 做文献预筛，把实验室预算从"跟着论文走"改成"跟着可复现的 claim 走"。我们这样的团队每周要做的事：读 50 篇材料学 / ML-for-materials 论文，判断哪条路线值得投 2-3 个月的湿实验或 DFT 计算。现状是靠两个 PhD 手工筛，漏判率高、覆盖慢。本文证明了一个 27B 策略 + 前沿 coding agent 能在 1 小时内对一篇论文的核心结果图做"机制级"复现（不是抄图，是真的把实验搭起来跑缩水版），并且人类专家在强差距样本上 80-88% 认可它优于 frontier 基线。我的提案：部署 Faraday 式 pipeline 对候选文献批量跑 8 rollout × rubric judge，产出三类输出——可复现（进入内部管线）、缩水可复现但机制成立（跟进）、机制缺失/疑似硬编码（降权或挂起）。配套再训一个领域内版本：论文的任务空间自动生成管道意味着我们可以用自家领域语料（电池、催化、合金）自动造训练任务，不必等开源。

经济账。一个任务的算力成本是 1 小时 × 1/7 H200 切片 + 若干 API 调用，按内部定价约几十美元量级；一个工程师月的工资可以跑数千个任务。只要它把 5% 的误投资实验拦下来，就是数量级的正 ROI。这比订阅任何文献情报服务都便宜，而且证据（代码、git 历史、judge 报告）是可审计的，不是黑盒分数。

正面影响（论文自己没吹的）：第一，对小团队是民主化——以前只有大厂能养的"复现团队"现在按任务付费；第二，对整个领域是反 hype装置：agent 不关心发布会口径，只关心图能不能从代码里长出来，这会系统性压缩"不可复现但很响"的论文的套利空间；第三，复现报告（代码 + 缩水实验 + 反馈）本身是可发表工件，能反哺文献质量。

负面影响（论文没写的，也是我请董事会认真对待的）：第一，自动化偏见与"AI 认证"错觉——内部一旦把"agent 复现失败"当硬信号，就会错杀那些因缩水限制而失败的真结果（60 分钟 1/7 卡的缩水复现失败 ≠ 原文不成立），论文自己都声明不能据此质疑原文；这个偏差落到论文作者头上就是不公平的声誉伤害，尤其打击资源少的组。第二，单一 judge 先验的私有化——rubric 是一家公司设计的"好科研"标准，批量部署等于把一个商业实体的品味注入全行业的科研决策；我们要定制 rubric 并公开它，而不是买黑盒。第三，算力与排放：批量 RL 推理 + 每任务新容器的碳足迹需要有预算和披露；第四，科研劳动市场：复现是年轻研究者练出真刀真枪品味的方式，全自动化会把这条训练路径抽走——我建议保留"agent 复现 + 人类复核"的结对制，把省下的时间投向判断力训练而不是单纯裁员。

结论：批这个项目，但附三条红线：rubric 与 judge 协议开源、复现失败不得单独作为否决依据、每季度公布任务量的能耗账单。

Hacker

You’re a hacker who needs a demo of this paper ASAP. Implement a small part or simplified version of the paper on a small dataset or toy problem. Prepare to share the core code of the algorithm to the class and demo your implementation. Do not simply download and run an existing implementation – though you are welcome to use (and give credit to) an existing implementation for “backbone” code.

我做了什么：把论文训练回路的核心机制——"终局 rubric judge + GRPO 组相对优势 + judge 逐回合 credit 权重"——移植到一个纯 numpy 的玩具环境里，真实训练并量化对比了两种 credit 分配。不是复现论文系统（没有 LLM、没有真实论文复现），是机制演示：信用分配机制单独拎出来，看它对学习信号做了什么。

玩具任务设计（scripts/demo_turn_credit.py，约 200 行，无外部依赖）：一个隐藏曲线 y=sin(3x)·e^-x/2（"论文的真结果"），agent 看不见它。每回合 agent 从 8 个"实验设计"（覆盖 x 轴不同区域的采样点）中选一个并得到带噪观测，跑 20 回合后，一个确定性 rubric judge 按"覆盖度 × 趋势主张 × 预算多样性"三维给最终数据集打分（模仿论文的五维 rubric，agent 训练时 judge 还叠加 σ=0.25 的采样噪声，模仿 judge 随机性）。策略是 8 输入特征的 softmax 线性策略，GRPO：4 任务 × 8 rollout，leave-one-out 优势，逐回合 REINFORCE 梯度。

两种 credit 方案：uniform——每个回合的梯度贡献乘相同权重（对齐论文去掉 turn-level credit 的消融）；turn——一个"judge 侧"权重函数按每个回合所选设计的事后信息量给权重，再按论文的公式做保尺度归一化（Σu_kn_k=Σn_k，本玩具 n_k=1）。

实测结果（真实运行，4 个种子 × 150 步）：

方案	收敛后清洁评测分	梯度质量落在"承重回合"的比例
uniform credit	0.991 ± 0.008（收敛）	24.2%
turn-level credit	0.994 ± 0.003（收敛）	84.8%

玩具实验结果 — 我的玩具实验（非论文图）：左 = 4 种子训练曲线（两种 credit 都收敛）；右 = 梯度质量再分配——uniform 把 75.8% 的学习信号浪费在对结果无影响的回合，turn-level 集中 84.8% 到承重回合。生成：scripts/demo_turn_credit.py

诚实的结论（和论文的关系）：在短 horizon（20 回合）、可完全观测的玩具里，两种方案都收敛到近满分——玩具体现不出论文的崩溃差异（论文的崩溃发生在数百 token、强相关的长 horizon + 异步训练失步下，我的玩具没有那个机制）。玩具能干净展示的是"为什么 turn-level credit 有用"的那一半：在 8 个设计里只有 2 个承重的情况下，uniform credit 把 75.8% 的梯度质量送给无关回合的选择——优势估计的噪声被原样放大到所有回合；turn-level 权重把这些回合的贡献压掉 5 倍以上，让同样的样本量产生更高信噪比的学习信号。这对应论文消融（移除后 50 步崩溃）的机理面：噪声在短 horizon 可被均值吸收，在长 horizon 会与熵动力学耦合失控。

代码路径讲解（课堂用）：核心只有三个函数——rubric_judge()（终局打分 + 噪声）、judge_turn_weights()（事后信息量 → 保尺度归一化权重，对应论文公式）、grpo_step()（组优势计算 + 逐回合梯度加权累加）。把 mode 参数从 "uniform" 切到 "turn" 就是完整消融。复现命令：python3 scripts/demo_turn_credit.py（约 40 秒，纯 CPU）。backbone 说明：无外部 backbone，纯 numpy 手写；GRPO 结构参照论文公式 1-3。

Private Investigator

You are a detective who needs to run a background check on one of the paper’s authors. Where have they worked? What did they study? What previous projects might have led to working on this one? What motivated them to work on this project? Feel free to contact the authors, but remember to be courteous, polite, and on-topic.

调查对象：Edward Hughes（通讯作者，† equal last）——公开来源调查，未联系本人。结论先行：这篇论文不是一家新公司的第一篇论文，而是 Google DeepMind 一条研究线的"资本化续集"，作者履历把这个项目的动机解释得比论文 introduction 更清楚。

职业轨迹（来源：edwardhughes.io 个人主页，2026-10-08 检索）：Hughes 是 Inherent 的联合创始人 & Chief Scientist。此前是 Google DeepMind 的 Staff Research Scientist/Engineer。他在 DeepMind 期间做过四件与本文直接相关的事：共同领导了 AI Scientist 团队（这正是本文 motivation 里"路线 B"的实验室内部版本）；为 Genie 1（生成式世界模型）写了最终实现；开创了 LLM 之间的文化演化研究（多代多智能体知识传递——与本文"复现即学习"的主题同源）；还参与过 AlphaProof（强化学习 + 形式验证的数学系统——本文 rubric-judged RL 的方法论近亲）。他的学术出身是伦敦玛丽女王大学的理论物理 PhD（弦论方向），后来是 LSE 的访问学者。物理学家 → 世界模型 → 数学 RL → AI 科学家，这条线在方法论上是连贯的：都是"给不可验证的东西找可验证的替代信号"。

共同作者网络里更值得注意的是 Louis Kirsch（† equal last）。他的个人主页（louiskirsch.com）显示：IDSIA 博士，导师是 Jürgen Schmidhuber（"AI Scientist"概念的老家），博士论文做的是自动化 AI 研究（MetaGenRL：元学习的 RL 算法发现；GPICL：通用上下文内学习；自指涉权重更新——"AI 修改自己的算法"这一支的直系血脉）；到 Google DeepMind 后创建并领导了 LLM-based AI Scientists 研究团队。Kirsch 2019 年起就在做"AI 研究 AI"（他 2019 年的论文就在本文参考文献里），本文引用他的 GPICL 工作。换句话说：两位 equal-last 作者在 DeepMind 各自带过"AI 科学家"方向的研究团队，然后一起创立 Inherent。

公司的四名联创（来源：Radical Ventures 投资组合页 + TechCrunch 2026-08-22 报道）：Tantum Collins（CEO）、Edward Hughes（Chief Scientist）、Louis Kirsch、Kaloyan Aleksiev（CTO，本文的 infrastructure lead——论文里那套 K8s/Kueue/Ray/NeMo-RL 栈的 owner）。四人都是 DeepMind alumni；TechCrunch 报道时公司约 12 人，计划年底 20-25 人；2026 年 5 月以 5000 万美元种子轮出隐身（投资方含 Radical Ventures）。TechCrunch 对本文的标题式报道——"Inherent 的 AI 队友在复现研究上超过了 Anthropic 和 OpenAI"——把论文的 73%/60% 数字直接翻译成了市场竞争叙事。

什么把他们推向这个项目（动机重建，基于公开轨迹）：(1) Kirsch 的整个学术生涯在证明"RL 的泛化瓶颈"（他的 MetaGenRL 结论正是任务分布多样性决定泛化），本文的任务空间自动生成就是这条思路的工业化；(2) Hughes 的 AlphaProof/Genie 经验是"可验证代理信号"的炼金术，rubric judge 是把它搬到科研域的尝试；(3) 两人都亲历过 DeepMind 内部 AI Scientist 项目撞上的"评审式奖励不可靠"墙——本文的 motivation 一节几乎就是那段经历的复盘。(4) 命名动机是公开的：官方页面讲了 1821 年 Faraday 复现电磁学并顺手发明电动机的故事，agent 得名于此——这个故事的寓意（复现通往创新）恰好是论文 counterfactual 实验想证明的命题。

背景调查的诚实边界：所有材料来自公开网页（作者个人主页、投资机构页、媒体报道），未联系作者本人；论文致谢与内部团队结构（如各阶段训练具体负责人）不公开，我未做任何推测性补全；本页 Reference 节列出了全部来源链接。

Social Impact Assessor

Identify how this paper self-assesses its (likely positive) impact on the world. Have any additional positive social impacts left out? What are possible negative social impacts that were overlooked or omitted?

论文的自我评估（Ethics & Broader Impact 节）：作者自己列出的正面影响有四层：(1) 社区参与——两项人类研究（117 排序 / 20 人 + 41 排序 / 11 人，付费参与）、四篇被复现论文原作者的反馈逐字照登，包括负面意见；(2) 可扩展监督（scalable oversight）的实证样本——27B 模型指挥约 5T 参数工具完成超出自身能力的科研任务，被论文定位为"弱监督者 + 强执行者"安全研究的有用数据点；(3) 安全约束声明——任务全部 in silico、资源受限（1 小时 / 1/7 GPU）、无实验室物理访问；明确声明 Faraday 复现失败不能用于质疑原论文质量；(4) 利益冲突披露（语料含自家/关联论文，声明同管道处理）与人类研究的 IRB 评估说明。

论文漏掉 / 低估的正面影响：第一，科研信任基础设施——如果任务空间公开，它就是第一个"可自动化扩展"的论文可信度审计层，价值不亚于 agent 本身；第二，研究者时间的解放有学习红利：复现劳动自动化后，人类研究者被推向"只有人能做的部分"（提出问题、设计 rubric、裁决边界情形），论文只把复现当成本，没把它当重新分配注意力的机会；第三，反 hype 机制——一个只认"图能不能从代码里长出来"的 judge，天然对发布会式宣传免疫，长期看能压缩不可复现结果的套利空间；第四，对小实验室的民主化——按任务付费的复现审计以前只有大厂养得起团队。

论文漏掉 / 轻描淡写的负面影响：

"AI 认证"的声誉武器化：技术报告说"不能据此质疑原文"，但社会现实里"该论文未能被 agent 复现"一旦泄露或被引用，就会变成评审、招聘、基金评审里的隐性否决证据。论文没有任何使用政策或发布约束来防止这个误读面。
单一实验室的品味成为世界标准：五维 rubric 及其元提示是 Inherent 内部设计、未经社区审议。若该配方被广泛复制，等于一家商业实体的科研价值观通过 RL 奖励被放大并扩散——这比 judge 偏差本身更结构性，论文完全没有讨论"谁有权定义好科学"的治理问题。
科研劳动市场与训练路径：复现是年轻科学家获得第一手品味（哪种实验可信、哪种图表有猫腻）的传统路径。批量自动化会抽走这条路径，而替代训练（读 judge 报告？）不存在——论文对社会面的讨论止于安全声明，没有触及这一层。
能耗与算力集中：659 步 RL × 每步 80 个 1 小时容器 + judge 调用，训练一个"科学品味"的成本可能超过一个小型研究机构全年算力；论文无能耗披露。这类配方若被多家复制，算力门槛会把"AI 科研"进一步锁死在少数公司。
目标漂移（论文优化面向 agent-judge）：一旦知道自己的论文会被这类 agent 预筛，作者的写作策略可能向 rubric 维度倾斜（图更漂亮、缩水版更容易），制造新一轮 Goodhart 效应——科学呈现被优化给机器评审看。论文讨论了 agent 学会应试 rubric，却没讨论人类作者应试 agent。
数据污染的不对称伤害：训练语料含著名论文的完整信息，agent 对"出名的结果"可能更宽容（记得配方），对冷门结果更苛刻——伤害恰好集中于资源少、知名度低的团队，放大结构性不平等。这是我对论文最重的一条保留：它没有按论文知名度分层检验 judge 与 agent 行为。

总评：这篇论文的伦理自查达到了 2026 年 agent 论文的上游水平（有人类研究、有原作者反馈、有失败模式声明），但它的自查框架是"研究安全"（safety）框架，而这项技术的社会面主要是"科研生态治理"（governance）问题——rubric 的所有权、复现裁决的传播规范、能耗披露、以及对低知名度团队的不对称影响，四件事都在论文的视野之外。发布任务集与 judge 协议并引入社区 rubric 共建，是作者能做的最便宜的补救。

Reference / Evidence

论文本体
arXiv:2608.13331 — Training AI Scientists to Replicate Research
arXiv PDF（47 页，v1 2026-08-13）
AlphaXiv 页面

官方项目页
Inherent Labs — Training to Replicate（含 1821 Faraday 故事与 agent 命名来源）

公司背景（媒体报道）
TechCrunch 2026-08-22 — Inherent（DeepMind alumni）报道
tech.eu 2026-05-29 — 5000 万美元种子轮
Radical Ventures — Inherent（联创名单）

作者公开主页（背景调查用）
Edward Hughes 个人主页
Louis Kirsch 个人主页

已知边界 ① — 复现危机与复现基准
Kapoor & Narayanan 2022 — Leakage and the Reproducibility Crisis
OpenAI PaperBench（arXiv:2504.01848） · 项目页
AutoReproduce（arXiv:2505.20662）
Paper2Code（arXiv:2504.17192）

已知边界 ① — AI Scientist 与 rubric 奖励路线
Sakana AI Scientist（arXiv:2408.06292） · 项目页
Rubrics as Rewards（arXiv:2507.17746）
RubricEM（arXiv:2605.10899）
VERITAS（arXiv:2607.02931，同期工作）

已知边界 ① — GRPO 稳定性与小模型指挥大模型
DeepSeekMath / GRPO（arXiv:2402.03300）
DAPO（arXiv:2503.14476）
Tool Orchestra（arXiv:2511.21689）
Kirgis et al. 2026 — frontier agents 开放式科研案例研究
Incompressible Knowledge（arXiv:2604.24827，GPT-5.5 参数量估计来源）

检索与证据边界：本页外部信息检索执行于 2026-10-08，通道为 arXiv API、OpenAlex、smart-search（web search + 页面抓取）。截至该日未发现引用本论文的后续论文（OpenAlex cited-by = 0；arXiv 全文检索无命中；Semantic Scholar 限流未返回）。论文的 TeX 源码（含全部 prompts 与图件）来自 arXiv 公开发布包。Inherent 与 Faraday 的任务集、权重、judge prompt 均未公开——本页所有关于论文内容的图与数字以 arXiv v1 为准。