Learning to Discover
at Test Time

先讲一个故事：实验室里那个“只差一点”的候选

教学性场景（非论文记载）：设想工程师林在为一块 GPU 寻找更快的矩阵乘法 kernel。她每轮生成一批程序，编译运行后由 verifier 检查正确性并测量速度；多数候选要么错误，要么只快一点。普通做法是把少数好程序存进档案，再让同一个固定模型继续采样。

但林发现，失败并非随机：某类 tile 配置总在寄存器压力上失利，而一个偶然跑快的候选虽未超过纪录，却暴露了可复用的结构。只保存程序不足以让模型学会避开这类坑；只改模型又可能忘掉曾经验证过的分支。转折点是让两种记忆并行：把每轮 verifier 反馈用于当前问题的测试时参数更新，同时在 archive 中保留候选谱系，并按搜索价值决定从哪里继续。论文的关键问题于是变成：这套闭环能否比同预算的固定模型搜索，更常找到高回报的单个解？

故事与技术如何对应

• 故事里的工程师与候选程序：对应生成策略及搜索状态；这是教学类比，非论文中的真实人物。
• 正确性和速度反馈：对应 verifier 提供的 reward；论文实际在多个可验证任务上评估，包括 TriMul kernel 搜索。
• 边搜索边改变“习惯”：对应 test-time training 与 adaptive entropic objective；“习惯”是比喻，实际是模型权重更新。
• 保留候选谱系并择点续搜：对应 PUCT archive reuse。证据支持它在论文设置下有效，不等于所有任务都需要或适合此机制。

先给结论：这篇论文到底做成了什么？

一句话：TTT-Discover 把“候选解的进化搜索”和“模型参数在单个测试问题上的持续学习”闭环起来；在 50 个训练步、每步 512 次 rollout 的预算下，让开源 gpt-oss-120b 在数学构造、GPU kernel、算法竞赛和单细胞去噪等连续可验证任务上找到高分解。

建议阅读路线

1. 先理解“discovery ≠ standard RL”：最终取最大值，而不是优化平均回报。
2. 再看 archive reuse 与训练目标如何互相咬合。
3. 最后逐域检查：评价器是否可信？比较是否公平？SOTA 是官方、局部复现还是代理指标？

研究动机：为什么 Best-of-N 还不够？

许多自动发现系统固定 LLM，只在外部做进化搜索：生成代码、执行、打分、保留好候选，再把好候选放回上下文。它们能积累状态，但模型本身未必从这一个问题的失败模式、局部技巧和评价器反馈中形成新的生成偏好。

作者抓住一个结构性差异：在 deployment/RL 中，我们通常关心新输入上的期望回报；在 discovery 中，只要最终找到一个可验证、超过当前 SOTA 的解就成功。因此尾部——少数异常优秀样本——比平均样本更重要。

问题统一成什么形式？

表 1 重述：不同领域被统一为“可执行候选 + 连续可验证 reward”的环境。

数学表示及建模

1. Discovery 的目标

训练过程产生历史集合 $\mathcal H$，最终返回的不是“最后一步 policy”，而是历史中回报最高的候选：$s^*=\arg\max_{s\in\mathcal H}R(s)$。

2. Adaptive entropic objective：主动看重右尾

$\beta=0$ 的极限接近期望回报；$\beta$ 越大，指数权重越集中于高奖励动作。梯度中的归一化权重为：

论文使用优势项 $A(a;s)=w_{\beta(s)}(a)-1-\lambda\log\frac{\pi_\theta(a|s)}{\pi_{\theta_0}(a|s)}$；最后一项把当前模型约束在初始模型附近，减少为追逐单一评价器而彻底漂移。

3. 为什么 β 要自适应？

固定 $\beta$ 对 reward 尺度极敏感。作者令指数倾斜后的分布 $q_\beta$ 相对当前 policy 的 KL 固定为一个信息预算：

batch 内若有 $N$ 个奖励 $r_n$，则 $q_\beta(n)=e^{\beta r_n}/\sum_m e^{\beta r_m}$，通过二分搜索求解 $\sum_n q_\beta(n)\log(Nq_\beta(n))=\ln2$。这相当于让“偏向赢家”的强度随每组 reward 的尺度与离散程度自动调节。

4. PUCT-inspired reuse

• $Q(s)$：已扩展时取最好 child reward，否则取当前 reward；因此是乐观的 max 价值。
• $P(s)$：基于排名的 prior；scale 是 reward range，避免量纲失配。
• $n(s)$：访问次数；探索项让高潜力但少访问节点有机会。
• 选择某状态时祖先访问数也增加；同一 batch 阻断整个 lineage，避免 512 个 rollout 扎堆。
• 实现中每个 parent 保留 top-2 children；archive 最高 1000 个状态；$c=1.0$。

算法流程：训练与搜索如何闭环？

一轮训练的关键细节

1. 一个 batch = 8 groups × 64 rollouts = 512；group 共享选中的起点状态。
2. 动作包含模型的 reasoning 与最终代码；执行器解析代码形成下一状态。
3. 无效候选 reward 为 0；有效候选进入树和候选 archive。
4. 每 batch 只做一个梯度步，不做 off-policy 重放；这避免旧 policy 数据与当前 policy 严重错配。
5. 50 × 512 = 25,600 次直接 rollout。

固定超参数

Appendix 的统一超参数表。估算每个问题约 500 美元，但实际成本依赖服务、token 长度、硬件与 verifier。

实验设计：到底比较了什么？

基线

• Best-of-25600：同一 frozen model、无 TTT、无状态复用，是最关键的预算匹配基线。
• OpenEvolve：固定模型 + 进化 harness；论文称沿用官方流程，但 prompt 超出上下文时会截断，这使“实现一致”不必然等于“机制公平”。
• 领域基线：AlphaEvolve/ThetaEvolve/ShinkaEvolve、人类 leaderboard、MAGIC/ALRA 等。

评价证据等级

1. 最强：官方隐藏测试或公开可验证 certificate。
2. 中等：组织者核验的同基础设施本地复现与统计区间。
3. 较弱：代理 benchmark 指标；尤其生物学指标改善不自动等于新生物学洞见。

实验结果：逐项读，不只看胜利摘要

数学：两胜、一接近、一非胜

Erdős 与 AC1 创下表中最好结果；AC2 没有超过 AlphaEvolve V2。

Erdős 最佳解是 600-piece 非对称 step function；论文描述其代码组合了 FFT 加速梯度下降、随机 hill climbing、simulated annealing 与约束投影。AC1 从零产生约 30,000-piece 构造，搜索过程由 gradient 方法逐步转向 LP，并集中修正接近紧约束的区域。

Circle packing：TTT-Discover 匹配已有最好值，没有产生新的 SOTA。

GPU Kernel：TriMul 强，MLA Decode 不应包装成赢

TriMul 只用 H100 reward 训练；同一最佳 kernel 意外泛化到其它 GPU。B200/MI300X 因提交基础设施问题采用组织者核验的本地环境，10 次 trial 报区间。

最佳 kernel 的工程策略不是“LLM 重写矩阵乘法”：它融合 memory-bound 操作，同时把 matmul 委托给 cuBLAS/Tensor Cores。这是一种很实际的系统优化组合。

MLA Decode：不同 MI300X instance 选出的最佳 kernel 不同；论文明确说没有一个在统计显著意义上优于最佳人类。

算法设计：官方隐藏测试上的两项超过人类榜首

在 150 个公开生成 case 上训练，top programs 提交官方 AtCoder 平台隐藏评测。

这证明“训练+复用”能产出经隐藏测试验证的具体算法程序；但两道题不足以证明对任意算法设计任务都能泛化。

单细胞去噪：指标领先，但科学含义要克制

在 PBMC 与 Tabula 指标上领先；Tabula 提供一定跨数据集证据。

消融：两部分都重要，但证据只来自一个任务

单次 TriMul 消融支持 adaptive entropic 与 PUCT reuse 的组合价值，但不能推出跨域普适性。

我的评论：最值得相信与最该怀疑的地方

我认为贡献成立的部分

• 提出了与“追求一次突破”匹配的 tail-sensitive objective，而非机械套用期望 reward RL。
• 把 archive search 与 weight update 做成可运行、公开代码的整体，并在多个真实 verifier 上取得强结果。
• Best-of-25600 是必要且有信息量的预算匹配对照；多数任务上显示仅增加采样不足。
• 主动报告 AC2、circle packing、MLA Decode 的非胜出，避免结果叙事完全选择性。

尚未闭合的证据

1. 方差：best-of-search 本身高方差，多数 problem 没有 repeated seeds 与成功率。
2. 消融外推：核心 factorial evidence 只有 TriMul。
3. harness 公平：OpenEvolve prompt truncation 可能让它没有在最适合自身的设置中竞争。
4. 跨硬件：TriMul 泛化很亮眼，但部分数字来自组织者核验的本地复刻而非同一官方 leaderboard。
5. 代理指标：去噪分数不是自动科学发现。
6. 成本：约 500 美元/问题比 frontier closed-model campaign 低，但仍依赖强 verifier、长 rollout、训练 API 与 HPC。

One More Thing：真正的研究对象可能不是 policy，而是 policy × harness

后续论文 Automated Discovery Has No Universally Superior Harness 对 OpenEvolve 与 TTT-Discover 等 harness 做预算匹配拆解，结论是固定 harness 并不在所有 model–problem pair 上可靠占优。把两篇放在一起，最有价值的推论不是“TTT-Discover 被否定”，而是：

下一代系统应该根据早期进展在线选择甚至切换 harness，同时保存 policy checkpoint 与 solution archive。TTT-Discover 证明“权重可以在发现过程中有效改变”；后续工作则提醒“如何改变、如何复用”本身也应成为被学习的对象。

跨论文洞见：发现系统需要同时学习“怎么想”和“怎么搜”

1. 从模型更新到 harness 选择：本论文显示测试时更新可提升特定任务的 best-found 解；Dynamic Cheatsheet 与 Override Gap 进一步提醒，模型内部更新的效果会受任务、更新接口与外部约束影响。合并后的谨慎结论是：搜索系统应将权重适配视为一种可测的策略，而非默认总开。
2. 推理时扩展不等于持续学习：Test-Time Recursive Thinking 聚焦推理/计算过程的递归组织；TTT-Discover 则直接更新参数并维护搜索档案。二者补足不同瓶颈：前者重组推理轨迹，后者让问题特定经验影响后续生成；不能据此断言谁在统一基准上更优。
3. 记忆应有可评测边界：EvoMemBench 将记忆演化作为评测对象，与本文的候选 archive 形成对照：archive 保留的是可验证解及其搜索结构，不等同于通用长期记忆。未来比较应分开测“经验是否保存”“是否被正确检索”与“是否带来更好的新解”。

Other Discussion Roles / 其他讨论角色

parent = max(archive,
  key=lambda x: reward(x)+2*sqrt(total)/(1+visits[x]))
a = sample_softmax(logits)
child = parent + a
adv = clip((reward(child)-reward(parent))/8, -1, 1)
logits[a] += .35*adv; logits[-a] -= .35*adv

Frozen Best-of-N (no reuse): (-39.0, 1)
Toy adaptive training + PUCT reuse:
((10.0, 8), {{-1: -0.2625, 1: 0.2625}}, 11)

Reference / Evidence

本页实际检索并交叉核验了公开源；OpenReview 页面受 challenge 阻挡，因此没有声称读取到真实评审。所有结果数字以 arXiv v2 源文/附录与官方仓库为主。

1. Learning to Discover at Test Time — arXiv abstract
2. Paper PDF (v2)
3. Official code repository
4. Official project page
5. AlphaEvolve
6. Automated Discovery Has No Universally Superior Harness
7. Test-Time Training Undermines Safety Guardrails
8. Dynamic Cheatsheet（站内精读）
9. Override Gap（站内精读）
10. Test-Time Recursive Thinking（站内精读）
11. EvoMemBench（站内精读）
12. Mert Yuksekgonul — public profile
13. NeurIPS 2026 Reviewer Guidelines
14. Official AHC039 submission
15. Official AHC058 submission

覆盖边界：本页覆盖正文机制、全部 4 幅论文图、主要及附录数值表、负结果、关键复现参数、代码实现事实与七个讨论角色。它不能替代真实大规模复现，也不能保证任何读者字面上的“100%理解”；未独立重跑 25,600-rollout 的每个领域实验。