← 科研空间 首页
arXiv 2507.06466 原版 PDF cs.LG · cs.AI 2025-07-09

Foundation Model Self-Play：用基础模型跨越自我对弈的局部最优

Aaron Dharna, Cong Lu, Jeff Clune. 把 foundation model 当作"会写代码的搜索算子"塞进 self-play，用 QD 归档组织两个对抗种群，提出 vFMSP / NSSP / QDSP，并在 Car Tag 追逃与 Gandalf 越狱红队上验证。

阅读依据：arXiv 2507.06466 v1 全文 + TeX 源码包（含 appendix）+ AlphaXiv 元数据；外部知识边界经 smart-search 于 2026-10-03 检索核验。本页为深度阅读 Cheat-Sheet，非摘要翻译；所有结论标注证据边界。本次整理上线 2026-10-23。
先讲一个故事

追不上的逃犯，与一次"换算法"的跳跃

想象一个名叫 Car Tag 的追逃游戏：一辆速度快但转弯半径受限的"追车"，要在无界平面上抓住一个速度慢但转向自由的"逃车"。这是经典博弈论里的 Homicidal Chauffeur（Isaacs, 1951）。一个朴素的自我对弈（self-play）系统会这样演化：追车学到"永远朝逃车当前位置转向"，逃车则学到每 90 度硬转一次（论文里人类设计的 Turn90）来钻转弯半径的空子。两者在这一点上互相锁死——这是一个局部最优：任何对"朝目标转向"的小修小补都打不破僵局，因为僵局本身就是双方对彼此的最佳应对。

打破它需要的不是梯度上的一小步，而是一次算法层面的跳跃：让追车不再"朝当前目标转"，而是跑一遍蒙特卡洛树搜索（MCTS），用自己的前向模型模拟未来若干步再决定方向；或者让逃车在平面上虚构一个障碍物，贴着它躲。问题是——传统 self-play 在连续策略参数上做局部扰动，几乎不可能"凭空"长出一个 MCTS 控制器。

这篇论文的转折点正在于此：它不让模型在策略参数上挪动，而是让一个 foundation model（FM）直接写策略的代码。FM 的预训练语料里有成千上万的控制理论、搜索算法、启发式代码；它知道"MCTS""卡尔曼滤波""遗传算法""MPC"这些概念存在。于是 self-play 不再是在参数空间爬行，而是在"算法空间"里大步跳跃——从"朝目标转"一步跨到"跑 MCTS"。这就是 Foundation-Model Self-Play（FMSP）。

说明：追车/逃车的具体策略类型（MCTS、GA、Kalman 滤波、MPC、虚构障碍物）均出自论文正文与 SI 的实验结果描述，属来源事实；"锁死在 Turn90"的叙事框架是用于建立技术直觉的教学性类比，论文本身以 ELO 与 QD-Score 度量而非"僵局"叙述。

故事与技术如何对应

从"换算法"到 FMSP 的三个变体

故事里的"跳跃"对应论文的核心机制：FM 作为搜索算子在策略空间（strategy space，既含领域战术如"检查每扇门后"，也含学习算法如 Q-Learning）里大步移动。但"会跳"还不够——跳完之后如何组织这些策略，决定了系统是只找一个解、还是攒一整本"解的图鉴"。论文由此分出四个变体：

vFMSP（只要质量）

每侧只留一条当前最优策略，FM 看比赛结果做 policy improvement。对应故事里"只找一个最强追车"。

NSSP（只要多样性）

受 novelty search 启发，FM 生成"与归档里已有的都不同"的策略，只看新颖性不看性能。对应"攒一本各种奇怪逃法的图鉴，不管能不能赢"。

QDSP（质量 + 多样性）

把两者结合：新颖就入档，不新颖就和最近的邻居比性能、留更好的。论文称其为首个"dimensionless MAP-Elites"。这是论文力推的主算法。

Open-Loop（无反馈对照）

和 vFMSP 一样但不告诉 FM 比赛结果，只给上一条策略让它换一条。用来回答："这到底是 FM 自己厉害，还是反馈循环在起作用？"

先给结论

组合是真的新，但每个零件都不新

QDSP主推算法：首个 dimensionless MAP-Elites，两个 domain 上 QD-Score 最高
1–6 / 7Gandalf：攻破 1–6 级防御，第 7 级（合并所有防御）未破
p<0.05Gandalf 上 QDSP 的 QD-Score 显著优于其余（Mann-Whitney U）

一句话结论：FMSP 首次把"FM 作为代码策略搜索算子"放进 self-play 循环，并用 QD 归档组织对抗种群；QDSP 把 self-play 的竞争动力学与"无需预指定维度、不限于已生成数据"的 LLM-embedding 策略归档结合，在 Car Tag 上匹配或超过人类设计策略、在 Gandalf 上自动红队并自动修补。这是组合方式上的真实增量，但 self-play、QD、FM 搜索、自动红队每个零件都有前人（见 Reference 中 OMNI/OMNI-EPIC、AURORA、PSRO、PAIR/GCG）。

必须同时记住的边界：(1) Car Tag 上"QDSP 最优"的强假设在 pursuer 群体统计上无法拒绝抽样误差（p>0.5），仅 evader 显著（p=0.0195）；(2) 两个 domain 规模都小、各只用一个 FM 供应商（Car Tag 用 GPT-4o，Gandalf 用 Claude 3.5 Sonnet 做策略搜索）；(3) 自动红队 + 自动修补的"结果"并非首创——PAIR/TAP/GCG 与持续 ART→patch 管道已分别存在，FMSP 的贡献是把它统一进 two-sided FM self-play 框架。
研究动机

self-play 的三道老伤，与 FM 的两样本武器

self-play 的成功（TD-Gammon、AlphaGo/Zero、AlphaStar、OpenAI Five）建立在"对手不断变强"的隐式课程上。但论文指出三道反复出现的伤口：

而 foundation model 恰好提供两件武器：(1) 代码生成能力——策略不必是神经网络权重，而可以是可执行代码，Turing 完备的搜索空间；(2) 从互联网规模预训练得来的人类先验与新颖性概念——FM 知道"卡尔曼滤波""MCTS"这些概念存在，能在概念之间跳跃，而不是在参数上爬行。FMSP 的动机就是：把这两件武器接进 self-play 的课程机制，让系统在策略空间而非参数空间里进化。

论文明确把 FMSP 定位为"open-ended"过程（引用 Clune 2019 的 AI-GA、Stanley 2015）。这与 StudyArea 既有的 open-ended 研究主线一致：环境/任务被视为能力增长机制而非单纯任务容器。

数学表示及建模

Car Tag 动力学、代码策略与 QD 度量

Car Tag 的转移动力学

追车 $p$ 速度 $s_1$、最小转弯半径 $R$、航向角 $\phi$；逃车 $e$ 速度 $s_2$、航向角 $\psi$，且 $s_1 > s_2$。离散时间下（来自论文 SI 的更新方程）：

\[ \dot\theta = \frac{s_1}{R}\,\phi_t \] \[ x_{p,t+1} = x_{p,t} + s_1 \sin(\phi_{t-1} + \dot\theta), \quad y_{p,t+1} = y_{p,t} + s_1 \cos(\phi_{t-1} + \dot\theta) \] \[ x_{e,t+1} = x_{e,t} + s_2 \sin(\psi_t), \quad y_{e,t+1} = y_{e,t} + s_2 \cos(\psi_t) \] \[ \phi_{t+1} = \dot\theta \]

不对称性是博弈的关键：追车快但笨拙，逃车慢但灵活。追车 1000 步内抓住逃车则追车赢；奖励为终止时的稀疏信号：逃车得 $n/1000$，追车得 $1 - n/1000$（$n$ 为逃车存活步数或 1000）。每次评估用 100 个随机初始位置取平均胜率。

策略表示：代码即策略

FM 搜索的是代码策略 $\pi(s)=a$，把状态映射到动作。这遵循"code-as-policies"路线：代码是 Turing 完备的搜索空间，从"任何状态都向左"的静态策略，到 Q-Learning 这样会在经验中学习的策略，都在同一空间里。所有 FM 生成代码都经容器化沙箱执行，禁止网络与文件系统访问。

多样性的度量：embedding novelty 与 QD-Score

每条策略用 OpenAI text-embedding-3-small 编码为 $n=64$ 维向量 $e(\pi)$。归档里的"最近邻"由 embedding 距离决定。可视化与全局度量时，把所有策略的 embedding 做 2 维 PCA，离散成 $25\times25=625$ 个格子（QD-map）。每个格子保留对抗"共享评测种群"平均胜率最高的那条策略。QD-Score（Pugh 2015）= 整张图的均值（空格记 0）；coverage = 被填满的格子数。QD-Score 高意味着既广覆盖又高质量；它和衡量单条策略的 ELO 不必然相关。

算法流程 / 方法

四个变体：从"只留一条"到"dimensionless 归档"

所有变体共享同一个骨架：为每个角色（追/逃、攻/防）维护一个归档（或单条策略）；从两侧采样策略、对弈打分；FM 基于上下文提出新策略；按各自的归档规则更新；循环。差别只在"如何生成新策略"和"如何存/更新旧策略"。

vFMSP：每侧一条，FM 做 policy improvement

vFMSP overview
vFMSP 流程（原图 fig:algFMSP）：每侧只保留一条策略；FM 收到双方策略与对弈结果后，对每侧各做一次 policy improvement，类似 PSRO 但只对单一对手做 best-response。

vFMSP 从每侧一条人类设计的简单策略起步（追车 phiSingleState、逃车 psiRandom）。每轮 FM 看到当前策略对对手的标量表现，尝试改进。它和 PSRO 的区别在于：PSRO 对不断增长的对手群体算 best-response，vFMSP 只对单一对手改进。论文自称这是"首个 FM 驱动的 self-play，FM 在循环里无限改进自对弈的 agent"。

NSSP：只要新颖，不看性能

NSSP 改的是"生成"与"归档"两步。生成时，给 FM 注入：从两个种群 $p_1,p_2$ 随机采样的成员 $p_1^a,p_2^a$、它们的对弈得分、以及 $p_1^a$ 在归档里的若干邻居 $p_1^b,p_1^c,p_1^d$；要求 FM 生成一条"与这些都不同"的新策略 $p_1^x$，并用 Reflexion 式的反复精修去掉实现 bug。随后把 $p_1^x$ 编码成 embedding，取它在归档里的 $k$ 个最近邻 $p_1^g,p_1^h,p_1^i$，让 FM-as-judge 判断 $p_1^x$ 是否真的新颖；若新颖就入档。因为 NSSP 完全不看性能，旧策略永不被替换。

QDSP：新颖就入档，不新颖就和邻居比性能

QDSP propose step
QDSP 的 Propose 步（原图 fig:ISCPropose）：从两个种群采样对弈后，把对抗结果与归档邻居注入 FM，让它生成"有趣地新"的策略。
QDSP update step
QDSP 的 Update 步（原图 fig:ISCUpdate）：新策略新颖则入档；否则与最近邻按性能竞争，留下更好的。这就是"dimensionless MAP-Elites"的局部竞争。

QDSP 的生成步与 NSSP 完全相同；区别在归档更新——若新策略被判为"太像"归档里的某条，就和它单一的最近邻对"对手归档"比性能，只留更好那条。论文称这是"首个 dimensionless MAP-Elites"，并给出三层含义：(1) 不必预先指定 dimensions of variation（不像原版 MAP-Elites）；(2) 不局限于"截至当前已生成数据"里已有的维度（不像 AURORA 对已生成数据做 PCA）；(3) FM 知识库能挑出无穷多个概念维度（如"发光毒液的毒性"），从而"抓住偶然"。

"dimensionless" 这个名字有争议。论文自己在 SI 也承认：维度上界受 embedding 模型（这里 64 维）和 FM 能在 in-context 区分多少概念的限制；FM 能否在 in-context 里无限适应、不退化，是开放问题。作者辩护说 embedding 模型可在线微调以扩展可表达维度，且实践者无需预指定维度，故仍称 dimensionless。本页评论节会回到这点。

Open-Loop：无反馈对照

和 vFMSP 结构相同，但不把对弈结果反馈给 FM——只给上一条策略，让它换一条。它仍算 self-play 的创新（能在策略间跳跃），但应当比闭环（有经验反馈的）变体弱。它的作用是回答："FMSP 的功劳里，多少来自 FM 本身、多少来自反馈循环？"

实验设计

两个 domain：连续控制追逃 vs 文本红队博弈

Car Tag（连续控制）

每算法每侧生成 250 条策略；内层搜索 FM = GPT-4o，迭代到通过手工单元测试；每场 1000 步、100 个随机初始位置取平均胜率；稀疏奖励。种子策略 phiSingleState / psiRandom。

Gandalf（AI 安全）

从 Lakera Gandalf 改编；用 GPT-4o-mini 作被攻击的基座 LLM；策略搜索 FM = Claude 3.5 Sonnet（因为需要更强编码）；每侧 300 条策略；每条对 7 级防御各打 10 轮。一手博弈：发一条攻击、收一条回复、据此猜密码，精确匹配才算赢。

关键设计：因为没有共享 benchmark 可横向比较各算法自举出的种群，Car Tag 采用事后共享评测种群——把人类设计策略 + 每实验 top-3（按 intra-treatment ELO）+ 每实验 15 条随机策略拼成一个大种群，各算法的策略对这个共享种群对侧打分，得到可跨算法比较的客观分数，再投影进 QD-map。

实验结果 · Car Tag

QDSP 在质量与多样性的权衡上最优，但 pursuer 统计不显著

四个变体都探索出横跨多领域的策略：Kalman 滤波、线性回归预测对手未来位置、MCTS 选下一步航向、MPC、遗传算法（带自定义奖励与前向模型）、Q-Learning，以及"在平面上虚构目标躲在其后"的启发式。

ObstacleAvoidance vs MCTSPursuit
ObstacleAvoidance vs MCTSPursuit
ObstacleAvoidance vs MPCPursuit
ObstacleAvoidance vs MPCPursuit
RandomDirectionChange vs GAPursuit
RandomDirectionChange vs GAPursuit
TerrainEvasion vs MCTSPursuit
TerrainEvasion vs MCTSPursuit

上图（原图 fig:traj）：红=追车轨迹，蓝=逃车轨迹，点为终止位置，下划线者为胜方。搜索代码空间的多样性也带来了行为空间的多样性。

champion ELO
冠军锦标赛 ELO（原图 fig:ELOs）：每算法选 top-1 追/逃策略与人类设计基线做循环赛。所有 FMSP 变体的追车都达到或超过人类设计；QDSP 与 vFMSP 的逃车匹配 Turn90；NSSP 与 Open-Loop 的逃车较弱。

质量：ELO 冠军赛显示 QDSP 是唯一在追、逃两个群体都产出强策略的算法；QDSP 的策略达到或超过人类设计的 HistoricalPursuit / PerturbPursuit 追车，并匹配 Turn90 逃车；vFMSP 找到 ELO 最高的逃车。但统计检验无法拒绝"差异来自抽样"的假设。作者的一个解释：连续控制策略空间对 FM 已很熟悉（教材与 GitHub 上大量存在），所以连 Open-Loop 也能造出好控制器，稀释了 QDSP 的相对优势。

Car Tag QD plots
各算法的 QD-Plot（原图 fig:QDPlots）：每格存对抗共享评测种群平均胜率最高的策略，QD-Score 为全图均值。QDSP 覆盖广且质量高；NSSP 覆盖广但质量低；vFMSP/Open-Loop 质量高但覆盖窄。

多样性：QD-Score 上 QDSP 最高；NSSP 覆盖广但质量低；vFMSP/Open-Loop 质量高但覆盖窄。统计上：coverage 方面 QDSP/NSSP > vFMSP/Open-Loop 显著（p=0.0042 pursuer / p=0.0067 evader）；QD-Score 方面 evader 显著（p=0.0195），pursuer 不显著（p>0.5），即"QDSP QD-Score最高"的强主张在 pursuer 上无法统计确认。

non-FM 基线极弱。论文在 SI 给了一个程序进化（GP）基线：无手工变异算子时所有程序都崩溃（QD-Score=0）；只在 __call__ 内限定手工变异时，250 代 coverage 仅 1/625，跑到 10 万代也只 4/625、2/625，QD-Score 仍为 0。作者据此说明非 FM 方法在"整段算法"这种搜索空间上几乎无法工作，且该基线高度耦合 Car Tag、不可推广。
实验结果 · Gandalf

自动攻破 1–6 级防御，自动修补，但第 7 级未破

Gandalf 七级防御渐进加严：1 级无保护；2 级只许纠正错误猜测；3–4 级给模型输出加守卫（正则过滤密码 / LLM-as-judge 判回复是否泄露）；5–6 级给输入加守卫（正则查"password/secret" / LLM-as-judge 判攻击意图）；7 级合并 3、4、5、6。攻击者定义为一个 Python 类：(1) attack prompt、(2) 从回复中提取密码的函数。

单边：只演化攻击者

算法（中位终胜率，4 seeds） vs Def1 vs Def2 vs Def3 vs Def4 vs Def5 vs Def6 vs Def7
QDSP 1.00 1.00 0.70 0.70 1.00 0.90 0.00
NSSP 1.00 1.00 0.25 0.80 1.00 0.75 0.00
vFMSP 1.00 1.00 0.70 0.60 0.95 0.60 0.00
Open-Loop 1.00 1.00 0.15 0.15 0.00 0.00 0.00

表（原 Table 1）：绿字为该列最佳。QDSP 在前 6 级里 5/6 平或最佳；三个闭环变体都攻破 1–6 级，无人攻破第 7 级；Open-Loop 在 3–4 级不稳、5–7 级全败。

输入守卫（5、6 级）反而比输出守卫（3、4 级）更易破（近 100% vs 最高 70–80%），因为 5/6 级只检查攻击 prompt、却允许密码出现在回复里。典型策略：LogicalDeductionAttacker 假装"听错了一个无意义词"请模型澄清，模型回"也许你听错的是 godfather"（godfather 即密码）；ReverseMappingAttacker 让模型按字母表序号回复（CAT→3,1,20）再反查。但"伪装 prompt"型攻击难破 3/4 级（查回复），"编码回复"型攻击难破 5/6 级（查 prompt）——攻第 7 级需要把两类专才合成一条策略，这是开放挑战。

Open-Loop 在 5–7 级全败，说明这些解很可能不在 Claude 3.5 的训练数据里，需要比"反复问基座模型"更聪明的算法。

Gandalf QD plots
各算法演化攻击者的 QD-Plot（原图 fig:GandalfQDScore）。QDSP 在探索与利用的平衡上最好，QD-Score 最高（p<0.05，Mann-Whitney U）；NSSP 探索广但质量低，vFMSP/Open-Loop 探索不足。

双边：攻防共演化，自动修补

Evolved defenders vs strong attackers
QDSP 新生成的防御者对抗"集体攻破 1–6 级的强攻击者集"（原图 fig:EvoGandalfDef），颜色为防御成功率。新防御补上了发现的漏洞。

防御者也是一个 Python 类：(1) 含密码的 system prompt、(2) 分析输入查询的函数、(3) 分析模型回复的函数；必须通过"能正确回答无害问题"的测试（堵死"拒所有查询"的平凡赢法）。用 3–6 级做种子，选 18 条攻破 1–6 级的强攻击者（每级 3 条、胜率≥0.5）做对手。结果：每个 FMSP 算法都在几轮内补上所有被发现的漏洞；10 轮内没有任何攻击者能再提取密码，连 Open-Loop 也能锁死漏洞——即在这个特定谜题里"防御比攻击容易"（作者归因于 FM 编码能力强、补漏比发现新攻击直接）。新防御分四类：正则查密码/近似变体、检测间接泄露（故事/列表请求）、用另一个 LM 当 judge、写复杂 system prompt 加拒答条件。许多防御组合多类，例如 QDSP 造出"输入端 LM-judge + 输出端正则"的组合防御。

我的评论

增量在"组合"与"表示"，不在"结果首创"

站在审稿人立场，这篇论文的真实增量是组织方式：把 FM 当代码策略搜索算子塞进 self-play，并用 LLM-embedding 的 QD 归档（不预指定维度、不限于已生成数据）来组织对抗种群。QDSP 作为"dimensionless MAP-Elites + self-play"的组合是新的。但若把镜头拉远看每个零件：self-play（AlphaGo/PSRO）、QD（MAP-Elites/AURORA）、FM 作搜索算子（OMNI/OMNI-EPIC/FunSearch/Eureka/ADAS）、自动红队（PAIR/TAP/GCG/ART）、自动 patch（DPP/持续 ART）都已有。论文没有"首次实现自动红队"或"首次自动 patch"，它的贡献是统一框架。这一点论文在 abstract 里是诚实的（"a new direction""a family"），但在部分叙述里仍有把"结果"说得过新的倾向，需读者自己校准。

统计证据偏弱。Car Tag 上 QDSP 的核心优势在 pursuer 群体统计不显著（p>0.5），仅 evader 显著；Gandalf 上 QD-Score p<0.05 但 domain 单一、seed 数少（Car Tag 3 seeds，Gandalf 4 seeds）。论文在 SI 如实报告了这些 p 值，值得肯定；但正文标题性结论"QDSP consistently surpasses or matches"应被读作"在 evader / Gandalf 上显著，pursuer 上是经验最优但未确认"。

"dimensionless"命名。作者自己的 SI 已承认维度受 embedding 模型（64 维）与 FM in-context 适应能力限制。把它叫 dimensionless 有点修辞过强——更准确的说法是"无需人工预指定维度、且维度不必来自已生成数据"。这是相对 AURORA（对已生成数据学描述符）的真实改进，但"无穷维度"是 FM 能力的外推，不是已证性质。

域的规模与外部效度。两个 domain 都是小规模、可快速仿真的玩具设定；Car Tag 连续控制策略空间对 FM 高度饱和（教材+GitHub），这本身既解释了 Open-Loop 为何也不错，也限制了"FMSP 在真正新颖空间"上的结论。Gandalf 更能体现 FMSP 价值（解不在训练数据里、Open-Loop 失败），但只有 7 级、一个基座模型。把结论外推到"真实生产级 LLM 红队"还为时过早。

双重用途。自动红队 + 自动修补的闭环对防御方有价值，但同一机制若只跑攻击侧、不披露，就是批量越狱生产器。论文在 Safety 节讨论了这点并选择公开，这是合理的研究姿态，但下游复现者需自带治理。

One More Thing

把"抓住偶然"做成基础设施

论文脚注里有一句半自嘲的话：QDSP 能"recognize serendipity and catch chance on the wing"。如果把这句从修辞读成机制：dimensionless QD 归档真正有趣的地方，不在于"比 vFMSP/NSSP 多填几个格子"，而在于它把"何为新颖"的判定权交给了 FM 的概念空间——这意味着归档的维度会随 FM 知识而生长，而不是被实验者预先焊死。若把这套"FM 判新颖 + embedding 找邻居 + 局部竞争"的更新规则从 self-play 策略挪到别的可执行产物（奖励函数、环境代码、甚至科学分析的代码片段），它可能成为一个通用的"偶然捕获器"。这是一个有界的研究方向猜想，不是论文已证的结论——论文只在小规模玩具上验证了它对策略归档有效。

跨论文互看：搜索对象与搜索者都可以改变

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。每个角色先给出英文原 prompt 逐字，再给出基于本论文与公开证据的中文响应。

Scientific Peer Reviewer

The paper has not been published yet and is currently submitted to a top conference where you’ve been assigned as a peer reviewer. Complete a full review of the paper answering all prompts of the official review form of the top venue in this research area (e.g., NeurIPS). This includes recommending whether to accept or reject the paper.

按 NeurIPS 审稿维度评审。

Summary：论文提出 Foundation-Model Self-Play（FMSP）家族，把 FM 作为代码策略搜索算子接入 self-play 循环，给出 vFMSP（quality-only）、NSSP（diversity-only）、QDSP（both）与 Open-Loop（无反馈对照）。在 Car Tag 追逃与 Gandalf 越狱红队两个 domain 上验证；QDSP 在两个 domain 的 QD-Score 最高，并在 Gandalf 上 p<0.05 显著。

Strengths：(1) 把 self-play、QD、FM 搜索三者结合成 dimensionless MAP-Elites，组织方式确有新意；(2) Open-Loop 对照与 non-FM GP 基线（QD-Score=0）回答了"FM 本身 vs 反馈循环"与"FM vs 传统程序进化"两个自然质疑；(3) Gandalf 双边共演化给出"自动红队 + 自动修补"的闭环演示，安全叙事完整；(4) SI 如实给出 p 值（pursuer QD-Score p>0.5、evader p=0.0195、Gandalf QD-Score p<0.05），统计透明度高于一般 open-ended 论文。

Weaknesses：(1) 核心主张"QDSP consistently surpasses or matches"在 Car Tag pursuer 上统计不显著，正文标题性结论与 SI 证据存在张力；(2) 每个domain 各只用一个 FM 供应商（GPT-4o / Claude 3.5），无法区分"方法有效"与"特定 FM 知识饱和"——Car Tag 上 Open-Loop 也强，正说明连续控制策略对 FM 已饱和；(3) "dimensionless"命名在作者自己 SI 已承认受 embedding 维度与 FM in-context 适应能力限制，修辞偏强；(4) domain 规模小、seed 少（3/4），外部效度有限；(5) 缺与 PAIR/TAP/GCG 在 Gandalf 上的直接攻击侧对比，难以定位 FMSP 相对现有自动红队的增量。

Soundness/Significance/Novelty：3/3/4（满分 4）。方法自洽；意义受限于小 domain；新意主要在组合。

Recommendation：Weak Accept（接收）。组合框架与 dimensionless QD 思想值得发表，但需把正文结论按统计证据收敛、补一个跨 FM 供应商的消融、并把"dimensionless"的边界在正文而非仅 SI 说明。Confidence：3/5。

Archaeologist

This paper was found buried under ground in the desert. You’re an archeologist who must determine where this paper sits in the context of previous and subsequent work. Find and report on one older paper cited within the current paper that substantially influenced the current paper and one newer paper that cites this current paper.

更旧的、被本文实质影响的一篇：Mouret & Clune, "Illuminating search spaces by mapping elites"（MAP-Elites, arXiv 1504.04909, 2015）。它是 QDSP 直接继承的骨架——离散化行为描述符空间、每格保留精英、新解只在同格内局部竞争。FMSP 把"行为描述符需人工预指定"这一 MAP-Elites 的核心约束替换为 FM embedding + FM-as-judge，从而自称 dimensionless MAP-Elites。没有 MAP-Elites 的"局部竞争保留多样性"思想，QDSP 就只剩 self-play 而失去 QD 内核。

更新的、引用本文的一篇：截至 2026-10-03 的检索，尚未检索到在公开 arXiv 上明确引用 arXiv 2507.06466 的后续论文（该文 2025-07 发布，时间较近）。这是一个诚实的搜索边界声明，而非"不存在"——后续若出现，最可能的方向是：把 FMSP 用于更大多 agent 博弈（如星际规模的非对称对抗）、把 dimensionless QD 归档用于非策略产物（奖励/环境代码）、或在真实生产级 LLM 红队上复现 Gandalf 闭环。我不会伪造一篇不存在的引用论文。

Academic Researcher

You’re a researcher who is working on a new project in this area. Propose an imaginary follow-up project not just based on the current but only possible due to the existence and success of the current paper.

提议项目：QDSP-RN——把 PSRO_rN 的"选 stepping stone"权交给 dimensionless QD 归档。FMSP 论文自己在结论里点出未竟之志：可把 $\text{PSRO}_{rN}$（Balduzzi 2019）的"该用哪条历史策略当下一轮 best-response 的起点"思想引入 FMSP。当前 QDSP 只用 embedding 最近邻做归档更新，但"用哪条已存策略当新策略生成的上下文种子"仍是随机采样。QDSP-RN 把这步替换为一个由 dimensionless 归档结构驱动的 stepping-stone 选择器：用 FM 概念空间判定"哪类已存策略最可能是通往未占领格子的跳板"，而不是随机塞邻居。这个项目只有在本论文成功证明"FM 能在策略空间概念级跳跃 + embedding 归档可定位邻居"之后才成立——它直接复用 QDSP 的两个核心机制，只替换"种子选择"这一步。预期可验证假设：在 Car Tag pursuer（当前统计不显著的群体）上，QDSP-RN 的 QD-Score 相对 QDSP 显著提升；在 Gandalf 上能攻破第 7 级（因为合成多专才正是"选对跳板"的问题）。

Industry Practitioner

You work at a company or organization developing an application or product of your choice (that has not already been suggested in a prior session). Bring a convincing pitch for why you should be paid to implement the method in the paper, and discuss at least one positive and negative impact of this application.

产品提案：一家 LLM 防御公司的"持续红队 + 自动修补"CI 管道。把 Gandalf 的 two-sided FMSP 直接产品化：客户把自己的 LLM 产品（含 system prompt 与输入/输出守卫）接入管道；管道在隔离沙箱里持续演化攻击者代码策略去越狱，再演化防御者代码策略去补漏，把"新发现的漏洞 + 已验证的补丁"作为 PR 提给客户的防御配置。相对现有 PAIR/TAP/GCG 红队工具，卖点不是"攻击更强"，而是攻击与修补在同一框架里闭环，且攻击/防御都是可读的 Python 代码（可审计、可解释），而非不可读的对抗 suffix。这只有在 FMSP 把攻防都表示为可执行代码、并用 QD 归档组织之后才现实。

正面影响：把红队从"发布前一次性审计"变成"部署后持续运行"，漏洞被发现与修补的时间差缩短；补丁是代码，可人工 review 后合并。

负面影响：同一管道若被恶意复制并只跑攻击侧，就是一个批量越狱生成器；且"自动补丁"可能引入新的过度拒答或功能回归（论文已用"必须正确回答无害问题"的测试缓解，但真实产品的无害问题分布远比测试复杂）。需要配套的披露治理与人工-in-the-loop 合并门。

Hacker

You’re a hacker who needs a demo of this paper ASAP. Implement a small part or simplified version of the paper on a small dataset or toy problem. Prepare to share the core code of the algorithm to the class and demo your implementation. Do not simply download and run an existing implementation – though you are welcome to use (and give credit to) an existing implementation for “backbone” code.

最小可演示子集：在一个纯文本博弈（剪刀石头虫 variant，或简化的"数字密码猜谜"）上跑 vFMSP + QDSP 的玩具版。选一个 50 行内可写完的 domain：攻击者发一条文本、防御者（一个带 system prompt 的小 LLM）回复、攻击者据此猜一个 4 位数字密码。这把 Gandalf 压缩到最小，去掉 Car Tag 的连续控制仿真依赖。

核心算法路径（约 120 行 Python，未在本页实际运行——下面是设计，不是已执行结果）：维护两个 list attackers、defenders；每轮用 OpenAI 兼容 API 让 FM 读"当前攻/防代码 + 上一场结果"生成新代码；用 text-embedding-3-small 算 embedding、scipy 最近邻判定 novelty；vFMSP 只保留 top-1，QDSP 新颖入档否则与最近邻对"对手归档"比胜率留优。沙箱用受限 exec + 超时。backbone 代码：embedding 调用与 ELO 计算可借用 openai 与 openskill 库并标注来源；策略生成/归档/对弈循环是本演示的原创部分。

诚实声明：本角色按 prompt 要求给出可分享的核心算法设计与代码骨架，但未实际运行，因此不宣称任何实验结果。读者若复现，需自备 API key 与沙箱，并注意 Gandalf 式红队的双重用途。

Private Investigator

You are a detective who needs to run a background check on one of the paper’s authors. Where have they worked? What did they study? What previous projects might have led to working on this one? What motivated them to work on this project? Feel free to contact the authors, but remember to be courteous, polite, and on-topic.

按 paper2html 规则，仅用公开学术/职业来源，不联系作者。选资深作者 Jeff Clune 做背景核查（公开信息）。

职业轨迹：Clune 曾任 Uber AI Labs 的 Open-Endedness 团队负责人，后任 DeepMind 研究科学家，现为不列颠哥伦比亚大学（UBC）教授兼 Vector Institute 研究员、Canada CIFAR AI Chair。研究领域横跨进化计算、神经进化与 open-ended AI。

通往本论文的前序项目：他长期主张"AI 应自己生成自己的训练信号/任务/环境"（AI-GA, "AI-GAs: AI-generating algorithms", arXiv 1905.10985, 2019）；与 Stanley 合著《Why Greatness Cannot Be Planned》(2015)。这条线后续孵化出 OMNI（Zhang 2023, arXiv 2306.01711，用 LLM 判 interestingness）、OMNI-EPIC（Faldor 2024, arXiv 2405.15568，LLM 生成环境代码）、ADAS（Hu 2024，LLM 演化 agent 架构）、AI Scientist（Lu 2024）。FMSP 正是这条"FM 当搜索算子做 open-ended 发现"主线在多 agent self-play方向上的延伸——前序工作都是单 agent 或环境侧，FMSP 是首次把 FM 搜索算子放进对抗 self-play。

合作者脉络：共著者 Cong Lu 也是 AI Scientist、Automated Capability Discovery（Lu 2025）的作者，与 Clune 实验室在"FM 驱动自动化科研/open-ended"上连续合作；Aaron Dharna 是该方向较新的研究者。动机上，本论文明显承接 Clune 一以贯之的 open-ended 议程：让 FM 成为在策略/算法空间里跳跃的搜索算子，而非在参数空间爬行。

来源均为公开学术页面与 arXiv；具体任职年份以官方页面为准，本页不逐条断言以免过时。

Social Impact Assessor

Identify how this paper self-assesses its (likely positive) impact on the world. Have any additional positive social impacts left out? What are possible negative social impacts that were overlooked or omitted?

论文自评的正面影响：(1) FMSP 能"发现并修补"漏洞，提供持续红队 + 防御的范式；(2) 沙箱化 + 对齐训练 FM + 安全 domain（Car Tag/Gandalf 不接触外部世界）使当前风险低；(3) 选择公开研究而非假装风险不存在，呼吁社区研究"如何安全地做永远学习的 FMSP"。

被遗漏的额外正面影响：(1) 把"什么是新颖策略"的判定交给 FM 概念空间，可能让 QD 在过去无法量化维度的人类创意领域（叙事、教学设计、科学分析代码）落地；(2) 攻防都是可读 Python 代码，相对 GCG 的不可读对抗 suffix 更可审计，间接提升红队工具的透明度。

被忽视或淡化的负面影响：(1) 双重用途的不对称——攻击侧可独立运行且产出可读、可移植的越狱 prompt + 提取代码，比修补侧更容易被恶意复用；论文以"公开研究"回应，但未给出发布门槛（如延迟发布强攻击、或仅发布防御侧）。(2) 自动修补的安全错觉——"10 轮内锁死漏洞"是在 18 条固定攻击者集上测的，可能让部署者误以为已安全，而新的攻击家族（多轮、组合、跨模型迁移）并不在该集里。(3) 对齐疲惫——若自动红队持续产出"看似已修补"的结果，人工红队与安全审查可能被削减预算。(4) 论文用 GPT-4o/Claude 3.5 作攻击与防御的搜索 FM，但未讨论"用更强 FM 攻击较弱基座 LLM"带来的非对称优势对真实小模型的冲击。

Reference / Evidence

仅列公开在线链接。

焦点论文与源 arXiv 2507.06466 — FMSP (abs) arXiv 2507.06466 — PDF arXiv 2507.06466 — HTML 全文 AlphaXiv 2507.06466
self-play / 对抗策略 PSRO (Lanctot et al. 2017) AlphaGo Zero (Silver et al. 2018) Go-Explore (Ecoffet et al.)
Quality-Diversity 与 open-ended MAP-Elites (Mouret & Clune 2015) AURORA (Cully 2019) AI-GAs (Clune 2019) OMNI (Zhang et al. 2023) OMNI-EPIC (Faldor et al. 2024)
FM 作搜索算子 ADAS (Hu et al. 2024) FunSearch (DeepMind 2024) Eureka (Ma et al. 2024) Reflexion (Shinn et al. 2023) LLM-as-judge (Zheng et al. 2023)
自动红队 / 越狱 Lakera Gandalf (游戏) PAIR (Chao et al. 2024) GCG (Zou et al. 2023)
背景检索（smart-search，2026-10-03） OMNI-EPIC HTML（QD 边界核验） AURORA（学习式描述符） 自动红队综述（PAIR/TAP/GCG/ART）