Discovering Novel LLM Experts via Task-Capability Coevolution

先讲一个故事

一家中型 AI 实验室想覆盖从化学推理到创意写作的一大片能力。最直接的路径是去训练一个更大的模型——但一次预训练要烧掉数百万美元，而且只得到"一个"模型，内部表征还互相纠缠（论文称之为 fractured entangled representations）。更糟的是，每次扩展能力都得人工重新启动一轮训练，数据集和奖励函数都是静态的。

这群研究者换了个角度：人类文明从来不是靠"一个超级大脑"解决问题的，而是靠一群各有专长的人互相补位。能不能让模型也这样——不是造一个全能模型，而是自动发现一整群互补的小专家？

障碍在于"自动发现"怎么做。手工挑几个 instruct 模型当专家，覆盖面有限；把同一个模型重复采样，又没有真正的多样性。需要一个能持续产出新的、互补的模型的机制，而且不能盯着下游基准去优化（否则只是过拟合基准）。

转折点出现在他们意识到：最近 Sakana 自己的 EvoMerge 已经能自动搜索模型合并配方，CycleQD 已经能用合并做 crossover 获取 LLM 技能——但这些还都是"针对固定目标、产出单一模型"。如果把合并变异当成开放式演化里的变异算子，再让一个 scientist LLM 同时演化一套越来越难、越来越新的任务去测这些模型，用质量多样性（QD）归档做筛选，就构成一个模型与任务双向共演化的闭环。一次运行，持续产出一群越来越能干、越来越互补的 LLM。

他们把这个框架叫 AC/DC——Assessment Coevolving with Diverse Capabilities。结果：3 个 7B 的 Qwen2.5 小模型组成的 task force，覆盖广度超过 GPT-4o；而 8 个 7B 模型用不到 72B 模型三成的参数，覆盖广度反超 72B。

故事与技术如何对应

先给结论

AC/DC 把开放式共演化（模型+任务同时演化、QD 归档筛选）从 RL agent/环境领域移植到 LLM 本身的发现：模型靠合并变异演化、任务靠 scientist LLM 共演化、用 DNS 在 skill vector 上做质量多样性选择，全程不针对任何下游基准优化。最终选出的 task force 在 OOD 基准上覆盖广度超过同族更大模型甚至 GPT-4o，并随共演化代数持续提升。

增量主要在"组合与落地"，不是任何单一组件全新：crossover 沿用 CycleQD、演化合并沿用 EvoMerge、共演化框架沿用 minimal criterion coevolution、DNS 是现成 QD 算法。但把这条链拼起来并首次用于 LLM 集体发现，是真实往前的一步。

研究动机

论文的动机链（§1）建立在三个张力上：

1. 单模型范式的天花板。当前 pre/post-training 每次扩展都要人工启动、用静态数据集或奖励函数，一次只产出一个模型。信任单个大模型解决所有问题很困难，因为有"表征纠缠"和"成本"两个隐患。
2. 集体智能的吸引力。人类文明能持续完成任何单个人做不到的壮举。如果发现一整群小的、互补的 LLM，就能绕开单模型的弱点和"分别训练不同模型"的高成本。多 agent LLM 系统已表明集体在 test-time scaling 下更鲁棒。
3. 开放式性作为发现机制。开放式算法追求永不停止的发现。开放式共演化从自然演化与人类创新的创造力爆发中取灵感，为越来越智能的 agent 群体提供不断变化的学习环境。最近 LLM 驱动的开放式性（OMNI-EPIC、LLM-POET）让这条路变得可操作。

把三者接起来：用 EvoMerge（演化模型合并）+ 合成数据生成，让 LLM 群体持续适应自生成的、满足最小质量准则的新挑战，且不显式优化基准。这就是 AC/DC 想占据的位置。

数学表示及建模

Coverage：集体互补能力的度量

Coverage 衡量一个 LLM 群体集体解题的覆盖面，而非单体准确率。给定 \(Q\) 道题和 \(N\) 个 LLM：

其中 \(x_{q,i}\) 是 LLM \(i\) 对题 \(q\) 的输出，\(y_q\) 是真值，\(\bigvee\) 是跨所有 \(N\) 个 LLM 的逻辑或。只要群体里至少一个答对就算覆盖——这把"互补能力"形式化，区别于单体准确率。

Skill vector：二值行为描述子

每个 LLM 的能力用二值 skill vector 表示，每个分量是该任务是否完成。它作为行为签名，让模型间可直接比较，且不需要像 MAP-Elites 那样预定义 niche。skill vector 之间的距离衡量互补能力的多样性。

DNS：局部竞争的 QD 适应度

模型选择用 Dominated Novelty Search（DNS）。对解 \(i\)，局部竞争适应度 \(\tilde{f}_i\)：

\(\mathcal{D}_i\) 是比 \(i\) 更优的解集合，\(\mathcal{K}_i\) 是 \(\mathcal{D}_i\) 中与 \(i\) 距离最小的 \(k\) 个解。局部竞争奖励"离更优邻居更远"的解，从而在行为空间里鼓励多样性。

Crossover 与 Mutation：把合并当成演化算子

Crossover（沿用 CycleQD）：随机抽两个父代 LLM，对它们的 task vector 做加权线性插值。task vector \(\tau_{p_i}=\theta_{parent_i}-\theta_{base}\) 是父模型与 base 模型权重之差。

Mutation（论文泛化）：对合并后 LLM 的每个权重矩阵 \(W\) 做 SVD \(W=U\Sigma V^T\)，对前 \(k\) 个奇异值施加扰动再重构。这改变了表征结构又大致保留权重矩阵几何（受 Transformer² 启发，细节见 App.12）。

最小准则（MC）

沿用 Brant & Stanley 的 minimal criterion coevolution：模型和任务都必须满足最小质量门槛（模型的 gibberish 过滤、任务的 impossible 过滤），在过滤掉不良产物的同时保留探索空间。

算法流程 / 方法

AC/DC 维护两个归档：LLM 归档 \(\mathcal{A}_M\)（DNS 在 skill vector 上选择）和合成任务归档 \(\mathcal{A}_Q\)。核心循环（伪代码 alg:acdc）：

模型演化阶段（每代）

1. 选父 + 产生后代。从 \(\mathcal{A}_M\) 选 \(P\) 个父代，crossover+mutation 产生 \(N\) 个后代，共 \(M+N\) 个候选。
2. 评估 skill vector。每个候选 LLM 在合成任务归档上评估，得到二值 skill vector 与响应。
3. gibberish 过滤（MC）。对每个模型抽 3 个随机任务采样输出，用 judge LLM 判定文本连贯性，剔除退化模型。消融显示这是最关键的组件之一。
4. DNS 更新。对存活模型算局部竞争 \(\tilde{f}\)，保留适应度最高的一个，再按 \(\tilde{f}\) 取前 \(P-1\) 个，使活跃模型至多 \(M\) 个。每 \(G_{task}\) 代把归档存入历史归档（task force 的候选池）。

任务演化阶段（每 \(G_{task}\) 代）

用一个大 scientist LLM 合成任务，每个任务 = 问答对 + 用 Python 定义的评分函数（受 METR 启发但简化）。流程四步：

1. 任务提议。抽一个父任务 + 三个随机任务。按父任务的难度画像（当前模型群体的平均 pass rate）把适应需求分成三类：加难、降难、生成新变体。scientist LLM 据此生成候选任务。
2. 新颖性过滤。用嵌入空间余弦相似度从全局归档检索最相似的 3 个任务，judge LLM 判定候选是否相对已有任务足够新颖。
3. 反思与验证。scientist LLM 先自己解生成的任务，执行评分函数查实现问题：编译错自动带错误反馈修正，逻辑错触发任务精修。论文还加了代码抽取工具，能稳健评估需要代码生成的任务。
4. 质量保证与 MC。删掉没有任何 LLM 能解的"不可能任务"，用其父任务替换。通过的任务进入全局归档与活跃任务集。随后用新任务池重新评估归档里模型的 skill vector。

Task force 选择（下游评估用）

共演化结束后，从历史归档里选 \(N_{tf}\) 个模型组成 task force，标准是最大化合成任务分布 \(\mathcal{A}_{Q_g}\) 上解出的任务数。这一步独立于下游基准，避免优化压力、保持 OOD 泛化。

实验设计

基线

四类基线（§4）：

• Experts (N=3)：手工挑的 instruct 模型（代码、数学、通用），各温度 0 提示一次。
• Control (N=3/N=8)：通用 instruct 模型温度 0.7 重复采样 3 或 8 次。
• Big Model：单个大 instruct 模型，温度 0 提示一次。
• GPT-4o：作为 Big Model 提示一次。

评估

两套指标：

• Coverage：群体里至少一个答对即算覆盖（集体互补）。
• Best-of-N (BoN)：从多个候选里选单答案，测 Coverage 提升能否落到实际部署场景。对 MCQ/数学/代码三类基准分别实现三种选择技术。

基准覆盖通用知识、数学、STEM、代码（细节见 App.1）。模型族：Qwen2.5、Qwen3 14B、Qwen2、DeepSeek V1。消融逐个移除算法组件（DNS、gibberish 过滤、mutation、novelty 过滤、共演化），并对照"移除全部"。还与先前 QD 方法（DNS、CQD）在基准数据集上对比——后者是针对基准优化的，AC/DC 不是。

初始至少 3 个 seed LLM，是同一 base 架构的不同微调版本（这是 EvoMerge 继承的约束）。

实验结果

Coverage：小集体反超大模型

跨 4 个模型族，AC/DC 的 task force 平均 Coverage 提升在 +2.04% 到 +10.19% 之间（相对各对比配置）。要点（§4）：

• 参数效率。Qwen2.5 7B 在 N=3 用 72B 模型 29% 的参数，Coverage 反超 72B +3.85%；N=8 时提升扩到 +9.78%——分布式专精化收益随规模复利。
• 超越 GPT-4o。N=3 时 3 个 Qwen2.5 7B 组成的 task force 覆盖广度超过 GPT-4o；N=8 时 8 个模型的集体覆盖更广。考虑合并和服务的算力远低于 GPT-4o 的潜在成本，这点很显眼。
• Qwen2.5 与 DeepSeek 数字在 expert 和 control 基线上都有一致提升；Qwen3 14B 呈现规模依赖——N=3 时低于 expert 基线但优于 control。

Best-of-N：覆盖提升部分落到单答案

BoN 单答案选择下，AC/DC 平均提升 +0.99% 到 +1.34%（相对 control 与 experts）。DeepSeek 7B 在 N=3 用 67B 模型 17% 的参数做到只差 1.27%，N=8 时反超 +4.94%。8 个 Qwen2.5 7B / Qwen3 14B 接近 GPT-4o。作者坦承收窄"单大模型 vs 多小模型"的差距仍是开放挑战，BoN 本身有待更好方法。

对比先前 QD 方法

与 DNS、CQD（都针对基准数据集优化）对比，AC/DC 不针对任何基准却取得最高基准 Coverage：

表本身只显示三者的平均 Coverage 数值；AC/DC 在 N=8 上的领先最明显。来源：tab:prior_work_method_comparison。

消融：哪些组件真正重要

• 最关键：DNS（QD 选择）与 gibberish 过滤——移除后 N=3 分别掉 2.39% 和 2.46%。
• 中等：移除 mutation 或 novelty 过滤，N=3 掉 0.50%–1.16%。
• 移除全部：N=3 掉 2.36%，但 N=8 掉 7.02%——组件对更大 task force 的边际作用更显著。
• 共演化本身有用：把任务固定成静态合成数据集，模型只演化，N=8 比 共演化低 3.62%（App. DNS_on_static_synthetic_dataset）。

合成任务的质量与新颖性（人类评估）

3 位专家评审评了 47 个合成任务和 49 个基准任务，三维：正确性、OOD、创意。

作为对照，8 个标准基准的任务 OOD 仅 10.2%、创意 6.1%——评审者确实区分了新颖合成任务与既有基准内容。客观指标上评审者一致性强（正确性 p=0.46，OOD p=0.57）。这为"合成任务 OOD 训练"的主张提供了证据。

涌现的专精化与多样性

定性上：Model 4 整体不是最高，却解出了其他模型都解不了的化学题；Model 6 在商业/计算机更强；Model 3 在生物领先。创意写作任务上三个模型给出完全不同的类比（图书馆导航、城市指路、迷宫求解），其中一个用 Python 函数呈现——反映其 code expert 祖先。训练时设 512 token 上限，对简洁回答形成选择压力，使发现的模型在 1024 token 评估上限内更不易因超长被判错。

我的评论

增量成立，但要诚实地框定它

把"开放式共演化"从 RL agent/环境移到 LLM 本身，是一个有内容的位置移动。但它的增量主要是组合与落地，不是任何单一组件的发明：crossover 来自 CycleQD、演化合并来自 EvoMerge、共演化框架来自 minimal criterion coevolution、DNS 是现成 QD 算法、任务生成思路接 METR/ACD。论文自己也承认单模型新知识主要来自 crossover（受限于 seed 能力），mutation 作用有限。审稿时不应把它当作"开放式 AI 的突破"，而应看作"把这条链首次拼成可运行的 LLM 集体发现系统并给出正向证据"。

"不优化基准"是真的吗？

task force 选择确实只看合成任务分布，与下游基准解耦——这一步是干净的。但有两个软约束值得追问：第一，人类研究评的是合成任务的 OOD/创意，但OOD 是相对"标准基准"定义的，这意味着合成任务的"新"部分地由基准反衬出来，并非完全独立。第二，最终展示的 Coverage 是在下游基准上算的，所以"不优化基准"指的是选择过程不接触基准，而非评估与基准无关。这个区别论文讲清楚了，读者也应讲清楚。

"超越 GPT-4o"要看清口径

3 个 Qwen2.5 7B 的 task force 在 Coverage 上超过 GPT-4o——但 Coverage 只要求"至少一个答对"，而 GPT-4o 是单模型单次提示。这比较的是"3 个互补小模型集体"vs"1 个大模型一次"，不是同等条件下的能力对比。论文没有隐瞒这一点（强调"collective vs monolithic"），但二次传播时很容易被简化成"小模型打败 GPT-4o"。BoN 单答案口径下，AC/DC 只是接近 GPT-4o、差距仍存——这才是更硬的单答案能力对比。

开放式性是否真"开放式"

论文展示了随代数提升、任务 Vendi 多样性随时间增长（App. task_archive_novelty_over_time），这是开放式性的必要信号。但真正的开放式性要求创新率在长时间上不衰减——论文运行的是有限代数，作者明确把"扩展到更长时间"列为 future work。所以目前证据支持"在实验跨度内有持续创新"，不支持"无界开放式性已实现"。这也是所有开放式性工作的共同边界，不该单挑这篇。

合并兼容性是硬约束

EvoMerge 继承的约束——seed 必须是同一 base 的微调版——把方法的适用面限制在"已有同族 instruct 变体"的场景。Llama3 等强微调模型合并差，说明 crossover 在表征差异大时会失效。这意味着 AC/DC 的"自动发现"是在一个相对窄的种子空间里做的，离"从任意 base 演化出新能力"还有距离。

证据强度

正向：跨 4 个模型族的一致提升、消融定位了关键组件、人类研究验证合成任务质量、与 QD 前法的对照。不足：BoN 提升幅度小（说明集体优势主要在"覆盖"而非"单答案"）；N=3 部分配置（Qwen3 14B）低于 expert 基线；GPT-4o 对比的口径需谨慎。整体是一份证据充分的 ICLR 投稿，但不是"无懈可击"。

One More Thing

AC/DC 的真正潜力可能不在“发现更好的 LLM 集体”，而在它提供了一个把 LLM 当作演化对象的可运行实例。此前开放式性研究里，演化对象是 RL 策略或环境参数；这里演化对象是 LLM 权重本身（通过合并变异）。如果后续能把 mutation 从“SVD 扰动”升级成真正的“基于任务反馈的权重更新”（论文 future work 提到 integrating model fine-tuning），演化对象就从“重组既有能力”变成“获取新知识”，开放式性的天花板会完全不同。换句话说，AC/DC 把开放式 LLM 发现的脚手架搭起来了，但当前变异算子的知识增量有限——下一道门在 mutation。

这是基于论文 future work 与 mutation 机制的有界推断，不是已证实的结论。

把“能力”放进演化坐标系

AC/DC 把专家与能力作为共演化对象：模型种群通过合并变异扩展，任务种群则同步演化并为能力提供测量环境。与之相邻的 LatentSkill 关注从交互中涌现潜在技能；ACD 侧重能力的自动发现与评估。三者可以看作不同层次的问题：能力如何出现、如何被识别，以及模型与任务如何共同推动能力空间演化；这是一种研究视角对照，不代表方法等价或已有直接比较证据。

再与代码主体演化并读，演化对象从程序/代码主体扩展到模型权重、专家组合与任务本身。一个值得追问的共同问题是：选择压力由谁定义、能力变化如何被可靠测量，以及演化出的新颖性是否能迁移到未参与搜索的外部任务；AC/DC 的合成任务归档和下游基准评估提供了一个具体切口，但不能替代跨系统的统一实证比较。

完整图谱 / Figure Gallery

以下为论文附录与补充图，按源文件收录。图注只描述图本身显示的内容，更广的解读见对应正文节。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

import numpy as np
# ---- crossover: task-vector 加权线性插值 (沿用 CycleQD) ----
def crossover(theta_a, theta_b, base, alpha=0.5):
    ta = {k: theta_a[k] - base[k] for k in base}
    tb = {k: theta_b[k] - base[k] for k in base}
    return {k: base[k] + alpha*ta[k] + (1-alpha)*tb[k] for k in base}

# ---- mutation: SVD 扰动前 k 个奇异值 (受 Transformer^2 启发) ----
def svd_mutate(W, k=4, sigma=0.05):
    U, S, Vt = np.linalg.svd(W, full_matrices=False)
    S[:k] += np.random.randn(k) * sigma
    return U @ np.diag(S) @ Vt

# ---- skill vector: 二值任务完成 ----
def skill_vector(model, tasks):
    return np.array([1 if solve(model, t) else 0 for t in tasks])

# ---- DNS 局部竞争适应度 ----
def dns_fitness(skills, quality):
    # skills: (N,T) 二值; quality: (N,) 解出数
    N = len(skills)
    f = np.zeros(N)
    for i in range(N):
        better = [j for j in range(N) if quality[j] > quality[i]]
        if not better:
            f[i] = float('inf')
        else:
            d = [hamming(skills[i], skills[j]) for j in better]
            f[i] = np.mean(sorted(d)[:k])   # k 近邻平均距离
    return f

# ---- gibberish 过滤: judge 判定文本连贯 (MC) ----
def gibberish_filter(model, tasks, judge_llm):
    return [m for m in models
            if judge_llm.coherent(sample(m, 3_random_tasks))]   # 剔除退化

# ---- 主循环 (模型演化每代; 任务演化每 G_task 代) ----
for g in range(G):
    parents = select_parents(archive_M, P)
    offspring = [crossover(*pair) + maybe_mutate() for pair in pairs(parents)]
    offspring = gibberish_filter(offspring, active_tasks, judge)
    skills = [skill_vector(m, active_tasks) for m in offspring]
    archive_M = dns_update(archive_M, offspring, skills)        # 保留 top fitness
    if g % G_task == 0:
        new_tasks = scientist.generate(parent_task, 3_random, adapt_type)
        new_tasks = novelty_filter(new_tasks, global_archive)   # 余弦相似 + judge
        new_tasks = reflect_validate(new_tasks, scientist)      # 自解 + 执行评分
        active_tasks = update_archive(active_tasks, new_tasks)

Reference / Evidence