FrontierSmith: Synthesizing Open-Ended Coding Problems at Scale

先讲一个故事

教学性场景（非论文记载）：想象工程师林岚要训练一个代码代理，去改进城市公交排班。她能轻松检查每辆车是否满足约束，却没有办法证明某份排班就是全局最优；几份可行方案在准点率、换乘等待和车辆利用率上各有得失。

林岚手里却只有传统竞赛题：输入固定、输出正确或错误，标准答案和测试集都现成。直接让代理刷这些题，只会奖励“过测试”，不会教它在多个合理策略之间持续改进。她尝试让模型把一题改写成“更好的方案”，结果产生了大量空洞变体：要么仍然只有唯一套路，要么评分器无法稳定区分好坏。

转折不是单纯让模型“出更多题”，而是连问三个问题：能否对现成题做目标/输入/输出限制的受控变异？不同解题者是否真的会采用不同核心策略？能否再自动造出测试输入和连续评分器，让差异可执行地观察？FrontierSmith 的回答，是一个带筛选、构建、交叉验证的闭环。

故事与技术如何对应

• 公交排班的多目标取舍是教学类比；论文实际聚焦文本输入、程序输出的算法问题，不是公交系统。
• “传统题”对应 competitive programming (CP) closed-ended seed；“改造目标/放宽输入/限制输出”对应三类 mutation。
• “是否真有多条路线”对应 idea divergence；它只是多策略的代理指标，不足以单独证明问题有实际价值或可持续开放。
• “检查好坏的试运行与评分器”对应 test-case agent、verifier agent 和两者相互检查。最终用这些题做 GRPO 训练，再到 FrontierCS、ALE-bench 评估。

先给结论

FrontierSmith 展示了一个具体而有用的工程命题：规模化开放式 coding 数据的难点不只在“造题”，还在给每题配上能分辨策略质量的可执行环境。它把变异、divergence 筛选和测试/评分生成串成同一条管线。

因此“可以替代人工造题”应收窄为：在本文两套 benchmark、模型和训练设置里，自动合成数据带来强竞争力。证据还不足以推到任意开放式软件工程任务。最关键的风险是 diversity 与 verifier 都是代理：解法看起来多样，不代表目标重要；评分器有偏差，RL 也可能学会钻评分器漏洞。

阅读依据与版本：基于 arXiv 公开 v1 摘要、PDF 与源文件，检索日期 2026-10-23。本文外部书目交叉核验来源列于 Reference / Evidence。

研究动机

许多 coding benchmark 把任务写成离散正确性：输出满足规格就通过，或 bug 是否修复由测试判定。开放式问题则常没有在实际规模上可高效认证的最优解，提交质量可连续比较。论文把稀缺归因于建造成本：每题都要有有意义的优化目标、连续评分程序和能检验策略差异的测试输入。

作者利用一个不对称：closed-ended CP 题库规模庞大，已有输入结构与算法语义；开放任务缺少同等规模的题库。于是从旧题中变异，而不是从空白开始生成。但变异会产生噪声，因而筛选的关键是“不同 solver 是否探索不同核心算法”，并在构建环境后看这些解在测试上的行为是否不同。

数学表示及建模

把任务表述写作三元组：

其中 \(\mathcal{O}\) 是计算目标，\(\mathcal{C}_I\) 是允许的输入实例集合，\(\mathcal{C}_O\) 是输出可行性约束。方法尝试改变其中一项或多项：改目标、收紧输出条件、泛化输入结构。作者称开放性要求：在目标规模上没有有效的最优性认证方法，且有连续质量度量。

Idea divergence

对候选题 \(c\)，从 Solver(c) 独立抽取解，核心概念为两解策略不同的概率：

策略标签由 LLM judge 判断时，抽取 \(n\) 个解后作两两比较：

测试与 verifier 建好后，每个解在 \(m\) 个测试上的分数向量为 \(\mathbf q_i\)，用归一化两两欧氏距离估计执行差异：

重要细节：两个 \(\hat d\) 衡量的不是同一件事。LLM 估计策略语义差异；执行估计测试上的行为/得分差异。距离值也不是天然概率，特别是归一化与分数尺度会影响解释。高分只能支持“候选解呈现差异”，不能单独推出开放性或训练效用。

Verifier 分数

论文给出基于 baseline 解 \(s^*\) 的归一化改进分数。\(\sigma_{\mathcal O}=+1\) 对应最大化，最小化则为 \(-1\)：

崩溃、超时或输出无法解析得 0。实现上仍需确认目标偏移、baseline、极端值与分数单调性不会制造不当激励。

算法流程 / 方法

1. 扩展 seed pool：从 CP corpus 起始，已验证的生成题回流成为后续种子。
2. 问题变异：由 LLM 分析原问题表述，然后尝试三类操作：
   • Changing goals：如判定满足性改成最小化 true variables。
   • Restricting outputs：给输出附加约束，如 degree-constrained spanning tree。
   • Generalizing inputs：移除输入结构限制，如二分图扩展到一般图。
3. 粗筛：判断有没有未知最优值的优化目标、是否存在多个策略、能否定义有意义的提交评分；任一不满足即淘汰。
4. LLM divergence 预筛：每题抽样多个解，两两判断核心策略是否不同，保留高分候选。
5. 构建测试与 verifier：test agent 针对不同策略的薄弱点生成测试；verifier agent 将目标转成 \([0,1]\) 连续评分程序。两 agent 用对方产物及 sampled solutions 交叉检查，失败则迭代修订，不能收敛就丢弃。
6. 执行差异复排：在测试集上运行解，比较 score vectors，再选择最终题目，回灌 seed pool。

实验共运行 4 轮；每轮从池中取 \(B=1000\)，LLM divergence 留 100，再由构建与验证阶段挑 50，合计 200 个训练题。进入环境构建阶段的候选中，仅约 10% 得到验证通过的 test/verifier 对，提示自动环境构建本身仍是吞吐瓶颈。

附录里的两道合成题长什么样

Concat Factory Compression Challenge：给定多个目标字符串，提交只含“创建长度不超过 8 的字面量”和“拼接已有变量”的程序，要求构造所有目标且命令数与字面量长度总成本最小；评分按不复用块切分 baseline 成本与实际成本之比计算，最高封顶 2×10⁶。它把字符串构造从可行性转成程序压缩/共享子结构优化。

Yae Village Defense Network：在预算内预先修路，每天从神社出发并返回，受每日路程上限约束，访问房屋可清除活动攻击；目标最小化未清除攻击的加权伤害。评分相对“不修路、留在起点”的 baseline 伤害计算并封顶。两例说明 mutation 后的任务不仅是换表述，而是增加了连续目标；但附录示例本身不能证明所有自动评分器正确。

实验设计

• 合成规模：4 次迭代，每轮 1000 个 seed，divergence top-100，最终 top-50；训练集 200 题，种子从 HardTests 来。
• 生成模型：GPT-5.4 Thinking 负责变异、粗筛与语义 divergence；Claude Sonnet 4.6 抽样每题 10 个解，并生成测试/评分器。
• 训练：Qwen3.5-9B 和 27B 用 veRL + GRPO 训练 100 steps；学习率分别 \(10^{-6}\) 与 \(5\times10^{-7}\)，rollout/group size 均 8。9B 用 8 张 A100、27B 用 32 张 H200，各约 1.5 天；响应长度上限 16k/32k tokens。
• 评测：FrontierCS 使用 172 个 algorithmic 本地任务（240 总题中排除 68 个需要云资源题）；ALE-bench-lite 仅 10 个任务。指标 Avg@5 / Best@5；报告最佳 checkpoint。
• 对照：Base、人工 FrontierCS 172 题、ALE-bench 40 题、HardTests 200 个闭集题、Random Reward；另有跳过两层过滤的 No Filter 消融。
• 开放性分析：从 FrontierCS、FrontierSmith、HardTests、ALE-bench 各取 10 题计算两种 divergence；long-horizon 分析对 40 个任务用 Claude SDK/Sonnet 4.6、Codex/GPT-5.5、Kimi Code/K2.6 运行。

关键解释限制：ALE-bench-lite 仅 10 道测试题；任务分布较窄。9B 的 ALE-bench 训练数据与评测基准同域；论文表格标红提示 benchmark overlap。训练仅 single-turn GRPO 100 steps，非 agentic RL。

实验结果

最稳健的观察是合成题优于 Base、闭集 HardTests 与 Random Reward 两个 9B benchmark 均成立；27B 的报告中也明显超过 Base/HardTests。与人工数据比则不是统一胜出：9B FrontierCS 略低于 FrontierCS 人工训练，ALE-bench 低于 ALE-bench 域内训练；27B 合成训练高于表中 FrontierCS 人工训练配置。

No Filter 相对过滤版 FrontierSmith 的 FrontierCS 10.62 vs 8.57、ALE-bench 633.6 vs 564.4，支持过滤有帮助；但它跳过粗筛与 divergence 两种过滤，不能把收益单独归因给某一过滤环节。粗筛实验中 100 个闭集题错留 9 个（假阳性 9%），100 个 FrontierCS 错滤 19 个（假阴性 19%）。

LLM 估计约为 FrontierSmith 0.42、FrontierCS 0.40、HardTests 0.14；执行估计约 0.14、0.11、0.08（ALE-bench 0.24）。样本每类 10 题，文中没有置信区间或显著性检验，因此“干净分开”应理解为小样本描述性分离，而非已校准的通用分类器。

ALE-bench 三个 agent 均超过 100 turns 与 3M tokens；FrontierSmith 对 Claude SDK 达 113 turns、6.3M tokens。此处支持特定 agents/任务配置下的长时域行为，不足以证明普遍适合多轮 RL。

我的评论

值得肯定

论文把开放式 coding 数据的生成从 prompt creativity 推向了可执行的工程闭环；并用闭集训练、随机奖励、无筛选对照拆分了一些替代解释。三类 mutation 也给了读者易操作的表述空间。公开附录中的两个题目实例（字符串拼接压缩、村庄巡逻网络）让“开放式”在成本/得分目标上的含义具体可见。

最需要审视的地方

• 代理效度：idea divergence 由 LLM judge/采样 solver 定义，随模型、提示与解题分布变动；不同算法表达相似或同一算法实现差异都可能影响测量。
• 验证的独立性：test agent 与 verifier agent 交叉检查有价值，但两者都由模型生成，错误可能相关；论文报告约 10% 验证率，却没有完整人工审计/对抗性 verifier-gaming 评估。
• 训练/评估范围：200 题、两模型、两套特定 benchmark；FrontierCS 9B 人工基线略高，ALE-bench-lite 只有 10 题，统计不确定性未充分呈现。
• 迁移主张：所有题均为自包含算法环境；repo-level 工程、GPU kernel、云依赖问题都不在本次验证里。作者承认这一点。
• 训练闭环：代理的长时域行为分析与单轮 GRPO 训练是两条不同证据；观察到 turns/tokens 多，不能代替 agentic RL 收益实验。

总体判断：这是一个有价值的任务/环境合成原型，支撑“在特定 coding benchmark 有效”，尚不支撑开放式问题合成已普遍解决。优先补充应包括独立人审的评分器正确性、反奖励投机、跨生成模型稳定性、多随机种子误差、更多开放领域基准以及多轮 agentic training。

One More Thing

一条关键的研究设计启发：让“题目是否开放”从作者对题面的描述，变成两个可被证伪的操作问题——不同策略是否能被独立求解者实际提出？评分器是否会在刻意构造的对抗方案上给出可信排序？这能把 open-endedness 从口号转为任务生成器的质量控制，但它仍不等同于人类判断下的有意义挑战。

完整图谱

主文科学图已在对应章节逐一覆盖。此处汇总其研究地图：输入是丰富但封闭的题库；变异尝试打开优化空间；语义差异先筛；测试与评分器提供执行证据；通过的题回流并用于 RL。视觉证据支持的是管线可实现和特定实验观察，不能单独保证题目公平、目标有价值或 verifier 无漏洞。

Other Discussion Roles / 其他讨论角色

以下保留 MIT MAS.S60 原始英文 prompt，并以公开论文证据与可核验外部来源作答。推断与事实分开；不联系任何作者。

from itertools import combinations

def idea_divergence(strategy_labels):
    """Pairwise fraction with different strategy labels; toy proxy only."""
    pairs = list(combinations(strategy_labels, 2))
    if not pairs:
        return 0.0
    return sum(a != b for a, b in pairs) / len(pairs)

# Same task: greedy, greedy, dynamic-programming, local-search
labels = ["greedy", "greedy", "dp", "local"]
print(idea_divergence(labels))  # 5 / 6 = 0.833...