WHALE：权重与可执行 Harness 的交替协同优化

先讲一个故事

想象一个带检索工具的问答 agent。它的"大脑"是模型权重 $\theta$，它的"手脚"是一段叫 harness 的代码——这段代码决定模型写出的 query 被怎么改写、召回几篇文档、文档怎么截断、最后怎么逼模型给出 <answer> 标签。

现在你想让它变强，有两条路。第一条，训练模型：用拒绝采样微调，让它在"自己的正确 rollout"上做 SFT。可问题来了——如果 harness 根本没把含答案的文档召回，再强的模型也"看不见"证据。第二条，改 harness：让一个 LLM proposer 去搜索更好的 harness 代码。可如果模型连召回的证据都综合不了，再好的检索也是白搭。

更狡猾的是：你不知道瓶颈此刻在谁身上。在检索问答里，可能 harness 是瓶颈（召回太差），改 harness 几乎不花什么 rollout 就能追上训练模型的效果；而在数学推理里，可能是模型是瓶颈（response 太长被截断），单独搜 harness 几乎没用，得先小小训练一下模型，同一套 harness 搜索才突然变得有效。瓶颈会漂移。

WHALE 的切入点就在这里：与其先训完模型再搜 harness、或两者各自跑到头，不如交替地、小步地轮替——先在当前 harness 下把模型更新一点，再在更新后的模型下搜一个更好的 harness，如此重复。每次只改一点点，既攒够证据分辨真改进与噪声，又不在"一个马上要被换掉的对手"上过度优化。

故事与技术如何对应

故事里"瓶颈会漂移"= 论文的 harness-dominant / model-dominant 两种 regime；"小步轮替"= 论文的 交替 + 调度研究；"别在马上要被换掉的对手上过度优化"= 论文的 conditional over-optimization 失败模式。（故事是教学类比；数值与机制来自论文实验，见下文。）

先给结论

三句话结论：

1. 把联合适配的"另一半"从文本 prompt 扩到完整可执行 harness，确实有用——在一个固定配方 $(E,I)=(0.6,6)$ 下，WHALE 在三个 domain 上同时压过 weight-only、harness-only 与 FST。
2. 瓶颈是 domain-dependent 的：SearchQA 是 harness-dominant（搜 harness 用 5.79% 的 rollout 就追平训模型），Math 是 model-dominant（单独搜 harness 只到 0.42%，得先小小训一下模型才解锁 harness 搜索）。这正是"必须联合"的经验证据。
3. 小步交替 > 各跑一遍，且能自适应：stagewise（先跑满权重再跑满 harness）被小步交替在精度和 rollout 成本上双双压制；一个基于训练信号的 patience 规则能自动落在最优区间附近，消去了 $(E,I)$ 超参。

研究动机

站在 2026 年中看这个问题，三条技术线已经各自成熟，但它们的汇合点是空的：

• 权重侧自训练已成熟（RAFT/REST/DeepSeekMath 等 RSFT 家族）：用自身通过验证的 rollout 做 SFT，稳定且简单。
• harness 搜索已可行（ADAS、AFlow、Meta-Harness、Agentic、HARBOR、AutoSaddler）：LLM proposer + 评估-选择循环，能直接搜索可执行的 agent 代码。其中 Meta-Harness（arXiv:2603.28052，本文作者 Yoonho Lee 也在其中）让"搜完整 harness"成为模块化操作。
• 权重 + 文本 prompt 联合已有人做（BetterTogether、E-SPL、MetaTuner、P2O、FST）：但 context 侧只到文本 prompt，不碰工具接口、错误处理、终止策略、observation 格式化这些更宽的 harness。

于是真正未解决的问题是：当"训练权重"和"搜索完整可执行 harness"都变成可调用的黑盒操作后，两者怎么协调？难点在于时间尺度不匹配——harness 搜索是"长提议-接受"循环、需要大量 rollout 才能采分；在线微调是"采 rollout-梯度更新"交替。两者并发会让每次更新都对着一个正在变的对手，污染 credit assignment；而交替（coordinate update）又必须回答一个新问题：每个阶段改多少再切换？改太少，证据不足，会选中噪声；改太多，会在一个随后会变的对手上过拟合。WHALE 就是把这个调度问题当作一等公民来研究。

数学表示及建模

设模型参数 $\theta\in\Theta$，可执行 harness 程序 $h\in\mathcal{H}$（含 system 指令、工具 schema、上下文管理、解析与执行逻辑、终止策略）。两者共同诱导轨迹分布 $\pi_{\theta,h}(\cdot\mid x)$。给定任务分布 $\mathcal{P}$ 与二元验证器 $R:\mathcal{T}\to\{0,1\}$（只在终态判对错，中间步无奖励），联合目标为：

WHALE 不直接在 $\Theta\times\mathcal{H}$ 上联合优化，而是分解为两个条件子更新——每次固定一个、改另一个，但两者通过 $\pi_{\theta,h}$ 耦合。

权重更新阶段：online RSFT

固定 harness $h$，用 $\theta_{\mathrm{old}}$ 采样，只保留验证器通过的 rollout $\mathcal{S}_s^{+}$，做 token 归一化的监督似然上升：

$\mathcal{I}(\tau)$ 是模型生成 token 的位置（排除 user prompt 与 tool 结果）。每步采 $G$ 条 rollout/题，做一轮 SFT 后同步给 rollout worker。

harness 搜索阶段：Meta-Harness

固定 $\theta$，搜索 $I$ 轮，每轮让 proposer 检视历史 archive $\mathcal{A}_j$ 及其 artifact（分数、逐题对错、轨迹日志），写出 $M$ 个候选 harness $\mathcal{C}_j$，用 rollout 经验分评估：

选 archive 中最高分者为 accepted，后续轮次可 refine 任何旧候选或 revert 到更早设计。$I$ 轮后返回最高分 harness。

算法流程 / 方法

WHALE 只需要两个更新过程的黑盒接口，因此可换任意权重更新 / harness 搜索方法。本工作用 RSFT + MH 实例化。从 $(\theta_0,h_0)$ 出发，第 $k$ 个 cycle：

预算：权重阶段 $E$ 个训练 epoch（从持久采样器取 $\mathcal{D}_{\mathrm{weight}}^{[kE:(k+1)E)}$ 片段）；harness 阶段 $I$ 轮搜索、每轮 $M$ 个候选。

Algorithm 1 — 固定预算 WHALE（RSFT + MH）

Adaptive WHALE — 用训练信号决定何时切换

固定 $(E,I)$ 仍是超参。Adaptive WHALE 用逐阶段 early stopping替换之，且只用训练信号、绝不用验证集：

• 权重阶段：监控最近 $W$ 步的平均验证器奖励 $\bar r_t$；超过最短相位 $T_{\min}$ 后，若 $\bar r_t$ 已 $P_{\mathrm w}$ 步未创新高则停。本文 $W=T_{\min}=P_{\mathrm w}=0.2$ epoch。
• harness 阶段：至少跑 $J_{\min}$ 轮后，若 archive 最佳训练分已 $P_{\mathrm h}$ 轮未提升则停。本文 $(J_{\min},P_{\mathrm h})=(6,2)$。

这个规则从两侧夹住最优区间：最短相位挡住"证据太少"的噪声端，patience 停止挡住"跑太久"的过拟合端。

实验设计

三个 tool-using domain，每个 domain 内四套系统共享初始化 $(\theta_0,h_0)$、匹配累积预算，以隔离"联合适配"这一个变量。harness 搜索可改 system/user prompt、工具输入输出格式化、tool 调用后反馈、停止准则与轮次分配；模型、数据、验证器、环境转移规则与参考答案保持不变。

三个 domain

主要配置（附录 Table 1）

四套对照系统

• weight-only：冻 $h=h_0$，训练到与 WHALE 累积 epoch 相当（4/6/4 epoch）。
• harness-only：冻 $\theta=\theta_0$，搜到与 WHALE 累积迭代相当（40/60/40 轮）。
• WHALE：$(E,I)=(0.6,6)$ 交替；完成 6/9/6 个 cycle。
• FST（受控对照）：用同样的 RSFT + MH 方法与同样的调度，但把 harness 搜索限制在 system/user prompt。这隔离了"搜索空间宽度"这一个变量——若 WHALE 赢，赢在"能搜完整可执行 harness"而非"训练方法更好"。

验证器 $R$ 三域各异：SearchQA 用 GPT-5.4-mini 做 LLM-as-a-judge（温度 0，256 token 上限，固定 rubric）；Math 用 DAPO 的 $\boxed{}$ 严格匹配；Chess 用 python-chess 判合法性与参考着法。训练、harness 评分、测试共用同一验证器。

实验结果

① 一致增益：一个固定配方在三个 domain 都赢

用同一个固定配方 $(E,I)=(0.6,6)$，WHALE 在三个 domain 的 best mean@8 上都最高。值得注意的是单分量 baseline 的强弱排序会变：SearchQA 里 weight-only 与 harness-only 几乎打平，而 Math/Chess 里 weight-only 明显更强。WHALE 在两种排序下都赢，说明它不是"只在某一侧弱时才捡便宜"。FST 的形态也随 domain 变——在 SearchQA 里它甚至输给两个单分量，在 Math/Chess 里又赢过它们，但 WHALE 在三域都高出 FST 4.15–13.00 pp。

WHALE 在每个单独测试集上都最好（SearchQA 7 个子集 + AIME24/25 + Lichess），domain 级增益不是被某个子集撑起来的。分基准摘录（mean@8 %）：SearchQA 的 Bamboogle 36.75→53.00、MuSiQue 13.88→22.13；Math 的 AIME24 0.83→27.08、AIME25 0.00→22.50；Chess 19.82→29.83。

② 瓶颈是 domain-dependent 的：两种 regime

把增益拆到三类能力上（Figure 3），能看到两种截然不同的瓶颈态：

• SearchQA 是 harness-dominant：harness 搜索用仅 5.79% 的 rollout 就追平 weight-only 的峰值精度。拆开看——格式合规：weight-only 97.07% vs harness-only 99.98%，harness 通道更省 rollout；召回含答案文档：weight-only 提升有限，harness-only 把 26.88% 拉到 60.61%（因为 query 改写、召回参数与排序都归 harness 管），WHALE 进一步到 65.41%；答案抽取则反过来（weight 79.93% vs harness 57.28%）。
• Math 是 model-dominant：harness 搜索只到 0.42%（对比 weight-only 15.42%）。瓶颈是 response 被截断——weight-only 把截断率从 95.83% 压到 30.83%（学会从"会自然终止的正确 on-policy 轨迹"里学短回复），harness-only 想靠 response 上限/轮次限制/终答恢复来绕，但拗不过基座模型行为。WHALE 的 cycle-1 harness 搜索阶段就是"小权重更新解锁 harness 搜索"的最清楚案例：仅 4,608 rollout 就把格式合规从 0.83% 拉到 4.38%（+3.54 pp），而 harness-only 花了 46,080 rollout 才 +0.63 pp。

③ 交替 > stagewise：别把一个分量一口气跑到头

常见的组合方式是 stagewise：先在 $h_0$ 下把权重预算跑满，再在所得模型下把 harness 预算跑满，各取训练分最佳点 $(E^*,I^*)$。结果：SearchQA $(2.7,32)\to43.02\%$、Math $(4.3,33)\to15.63\%$，分别比 WHALE$(0.6,6)$ 低 5.32 与 9.16 pp；而 WHALE 只用 stagewise 的 29%（SearchQA）/ 49%（Math）rollout 就超过了 stagewise 的最终精度。

归因：conditional over-optimization。$J(\theta,h)$ 不可分，每个阶段都在对一个随后会变的对手优化。长权重阶段把模型行为过拟合到 $h_0$，随后换的 harness 就不适配了；长 harness 阶段会对 $\mathcal{D}_{\mathrm{harness}}$ 过拟合——Math 的 60 轮 stagewise harness 搜索训练分一直在涨，测试上却只比 weight-only 多 +0.21 pp（15.63% vs 15.42%）。

④ 每阶段跑多久？要在噪声与过拟合之间取区间

既然要小步交替，那每 cycle 改多少？在 SearchQA 与 Math（两 regime 的极端）扫了五个固定调度 $(E,I)\in\{(0.2,2),(0.2,6),(0.6,2),(0.6,6),(1.0,10)\}$。尽管两 domain 处于相反极端，同一个调度在两域都最强：$(0.2,6)$，SearchQA 50.09%（比主对照 (0.6,6) +1.75）、Math 28.33%（+3.54）。

两端各自失败：噪声端是 Math$(0.2,2)$——每 cycle 仅 2 轮提议证据，一个偶然虚高的候选被接受，模型再去适应它，运行失稳被叫停；过拟合端在 stagewise 之前就已出现——把每 cycle 预算从 $(0.2,6)$ 往上加从没帮上忙，沿 $(0.2,6)\to(0.6,6)\to(1.0,10)$ 精度在 SearchQA 从 50.09→48.34→45.93、在 Math 从 28.33→24.79→24.79。两个预算还不能独立选——Math 里把 $E$ 从 0.2 加到 0.6 在 $I=2$ 时有利（16.67→17.92），在 $I=6$ 时却有害（28.33→24.79）。

⑤ 能自动决定何时切换吗？能，用训练信号 patience

Adaptive WHALE 不预先固定 $(E,I)$，只用训练信号逐相位 early stopping。结果：SearchQA 取得全比较最佳点 52.82%（比 (0.6,6) +4.48、比最强手调 (0.2,6) 的 50.09% 还 +2.73，且比 (0.6,6) 取得其自身最佳点少用 23% rollout）；Math 到 26.46%（比 (0.6,6) +1.67、少用 4% rollout，但比手调最优 28.33% 低 1.87）。

实际落点落在 ablation 标出的区间里：两域权重阶段中位数 0.24/0.29 epoch、harness 每 cycle 7 轮，都接近 $(0.2,6)$ 最优；个别相位在训练信号持续改善时延长，最多到 1.16 epoch / $I=13$。多数 cycle 停在最短相位附近，延长是偶发而非系统性的。

调度对比最佳点一览（附录 Table 2）

轨迹样例（附录）

附录为三域各给一个"基座模型在 $h_0$ 下答错、WHALE$(0.6,6)$ 答对"的测试题，两条轨迹并排，消息角色按色编码（system/user/model/tool/env）。此处仅展示 Chess 棋盘图。

我的评论

它真正做对了什么

• 把问题形状认对了。它没有发明新优化器，而是把一个真实存在的协调空缺——"权重与完整可执行 harness 都能直接搜了，但怎么协调没人研究"——显式化，并给出受控研究。这正是 INTJ 式的"先认准问题形状，再给最小充分解"。
• FST 对照设计得很干净。用"同方法、同调度、仅搜索空间不同"来隔离"可执行 harness vs 文本 prompt"这一个变量，比直接比赢一个原版基线更能归因。这也是它结论能说得相对硬的原因。
• 把"何时切换"当成可研究变量，并给出两个有名字的失败极端（noise / over-optimization）和一个去超参的 adaptive 规则。这一步把"配方"从炼丹变成可讨论的调度学。
• harness-dominant / model-dominant 的诊断框架有迁移价值："先做一次便宜 harness 搜索当诊断"和"小权重更新解锁 harness 搜索"都是可操作的工程经验。

需要保留的地方（审稿人视角）

• 规模偏小。只到 Qwen3.5-2B/4B、3 个 domain。交替调度在更大模型、更长 context、更复杂 harness（如多工具编排）下是否仍是 $(0.2,6)$ 附近的区间，是开放的。作者自己也把"scale to larger models"列为 future work。
• FST 是受控重实现，不是原版。"可执行 harness > prompt"这个结论依赖 FST 被替换成 RSFT + MH-restricted-to-prompts。这是合理的受控比较，但读者不应解读为"WHALE 击败了 FST 最强形态"——它击败的是"同方法下只准改 prompt"的版本。
• harness 搜索的 proposer 单点依赖。全实验用 Claude Opus 4.7 当 proposer、$M=3$。proposer 模型换成更弱/更强、或换成非 LLM 搜索器时，最优调度区间是否漂移，没有消融。
• harness 搜索训练集只有 256 题。这个规模让单 rollout 评估（每候选-题对 1 rollout）的方差值得关注；论文用"archive 取最高分"来降噪，但没有报告 harness 评分本身的置信区间。
• 返回的是 $\mathcal{D}_{\mathrm{test}}$ 上最佳点。算法返回"在测试集上精度最好的 $(\theta_k,h_k)$"，这在实验比较里是公平的（各方法都这么做），但作为部署选模型仍需一个 held-out 验证策略——adaptive 规则本身强调"绝不用验证集"，但最终选点仍依赖测试集，这是个需要单独交代的事。
• 三种验证器异质。SearchQA 用 LLM judge（GPT-5.4-mini），Math 用规则匹配，Chess 用引擎判定。跨 domain 的"增益幅度"不能直接相加比较，只能看"同 domain 内相对基线"。

总体判断：作为 ICLR 投稿，这是一篇问题定义清晰、对照设计干净、分析扎实的工作；核心增量在"把联合适配扩到可执行 harness + 调度受控研究"，而非新算法。若评审在意规模与 FST 原版对比，是主要可攻击点；但"协调空缺被真实填补"这一贡献站得住。

One More Thing

把这件事放到更大的图景里：WHALE 把 harness 当成与权重并列的一等训练对象，而不是"模型训好后才去配的外壳"。这呼应了一条正在成形的路线——agent 的能力不只住在权重里，也住在"它被怎么组织调用"的代码里，而这两者可以协同演化。

沿着这个方向往前一步，自然会问：如果 harness 是可搜的、权重是可训的，那环境与任务本身能不能也进入这个协同循环？即不仅交替"训权重 ↔ 搜 harness"，还交替"搜/生成环境与任务 ↔ 在其上训权重与搜 harness"。这正是 open-ended 研究里"环境作为能力增长机制"的设想：把"能力缺口"显式喂回"生成什么环境来施压"。WHALE 给出了一块关键积木——两个时间尺度不匹配的更新如何在小步交替中协调而不互相过拟合；当循环里再加进"环境/任务生成"这第三个、时间尺度更慢的相位时，WHALE 的 conditional over-optimization 诊断和 patience 切换规则，很可能是直接可复用的调度骨架。

这是 bounded research insight，不是论文已证的主张——WHALE 只在固定的三个 domain 上验证，没有做环境/任务的开放生成。但它把"协同优化"从"权重+prompt"扩到"权重+可执行代码"这一步，恰好为再扩到"权重+代码+环境"留出了接口。

跨论文：优化对象的三个层次

• WHALE 与 GEPA：WHALE 在权重与完整可执行 harness 之间交替更新；GEPA 则聚焦于通过反思式提示演化改进 prompt。两者优化的系统层次不同，可以把提示改进视作 harness 优化空间中的一类更窄动作，而不能据此断言前者在所有任务上更优。参见 GEPA：反思式提示演化。
• 从可变配置到可复用资产：WHALE 让 harness 成为可搜索、可协同训练的代码对象；SkillsBench 进一步把技能作为可复用资产来考察，关注其能否稳定迁移到不同任务。两者分别强调系统内优化与跨任务复用，技能资产或可成为积累和复用 harness 能力的载体，但这是研究联想而非 WHALE 的实验证据。参见 SkillsBench：Agent Skills。
• 资产如何优化：SkillOpt 从技能执行轨迹中提炼并迭代优化技能资产，与 WHALE 的权重—harness 交替构成互补视角：前者强调显式技能资产的沉淀与更新，后者强调可执行控制层与模型权重的联合适配。可进一步研究资产更新如何纳入协同循环，但现有页面不构成二者组合有效的证据。参见 SkillOpt：技能优化。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

def whale(theta0, h0, D_weight, D_harness, R, E, I, M, cycles):
    theta, h = theta0, h0
    best = (theta, h, -1.0)
    for k in range(cycles):
        # 相位1: 固定 h, 更新 theta (RSFT: 只在 R 通过的 rollout 上 SFT)
        chunk = D_weight[k*E:(k+1)*E]
        pos = [(x, tau) for x in chunk for tau in rollouts(theta, h, x)
               if R(x, tau) == 1]          # 拒绝采样
        theta = sft_step(theta, pos)       # token 归一化似然上升
        # 相位2: 固定 theta, 搜 h (Meta-Harness: propose-evaluate-select)
        archive = {h: eval_harness(theta, h, D_harness, R)}
        for j in range(I):
            cands = propose(archive, M)    # proposer 检视源码+artifact
            for c in cands:
                archive[c] = eval_harness(theta, c, D_harness, R)
            h = max(archive, key=archive.get)
        acc = test_acc(theta, h, D_test, R)
        if acc > best[2]: best = (theta, h, acc)
    return best

Reference / Evidence