不要只朝目标走

怎样使用这份讲义

阅读路线

1. 第 1–2 章回答：为什么单一目标会欺骗搜索？archive 为什么比一个冠军更重要？

2. 第 3–4 章回答：MAP-Elites 与 POET 怎样把“多样解”升级为“共同演化的任务生态”？

3. 第 5–7 章回答：foundation model 如何成为 interestingness 判别器、奖励代码生成器与环境生成器？

4. 第 8–9 章回答：怎样把同一循环扩展到 agent scaffold、记忆系统和科学研究流程？

5. 第 10 章专门做能力边界审计，防止把研究愿景误读为已实现的 AGI/ASI。

01为什么“朝目标走”反而会失败

迷宫：距离不是可达性

视频字幕 00:00–00:52

讲者开场给出一个故意反直觉的命题：对极难问题，过度执着于最终目标可能让搜索失败；暂时忽略它、转而探索新区域，反而更容易抵达目标。迷宫是最小反例：agent 位于左下角，奖励函数只鼓励它缩短与终点的几何距离。最陡的方向指向北方，但北方是一堵墙，于是优化器一次次做“按照指标完全正确、按照真实任务毫无用处”的事。

若位置为 \(p\)、目标为 \(g\)，一个常见代理奖励可以写成 \[r_{\text{proxy}}(p)=-\lVert p-g\rVert_2.\] 它只衡量几何接近，没有表达墙、门、钥匙或通道等拓扑可达性。因此失败不是优化器“没优化好”，而是代理目标忠实地把它导向了错误山峰。

微波炉、计算机与延迟显现的价值

视频字幕 00:52–02:34

讲者随后把迷宫从玩具问题扩展到创新史。他用两组故事说明：

• 若唯一目标一直是“更快烹饪、烟更少”，雷达研究与巧克力融化的偶然观察不会被纳入路线，微波炉就不在当前目标的直线上；

• 若算盘时代只奖励“更多算术运算”，真空管与电力研究也不会因为当下算盘分数而得到保存，但它们后来成为现代计算的关键技术条件。

双足机器人例子更贴近算法：我们本想提高前进速度，却观察到某个候选会爬行，另一个会单脚平衡。单看即时速度，它们可能都应被淘汰；从能力图谱看，它们却可能成为稳定行走、受损恢复或复杂运动的中间技能。

本章小结

• 代理指标可以在数学上被完美优化，却在真实任务上失败；

• 困难创新依赖价值延迟显现的中间结构；

• 需要改变的不是“有没有目标”，而是目标是否唯一、是否过早、能否切换、是否保存旁支能力。

02创新引擎：从一个冠军到一座档案馆

自然演化与人类文化的共同配方

视频字幕 02:34–03:35

讲者把自然演化与人类文化都抽象为创新引擎（innovation engine）。它们的状态不是“当前唯一最好对象”，而是一个装着物种、理论、证据、技术与设计的集合。系统从集合取样，修改、变异、重组，再问两个不同的问题：它是否在某一类里更好？它是否创造了此前没有的类型？

三种算法到底分别扩张什么

视频字幕 03:35–04:15

讲者把路线分为三层。它们共享“生成–评估–档案”的骨架，但扩张对象不同：

注意：这三层不是互斥产品名，而是递进的设计问题。QD 先解决“不要只留一个赢家”；开放式算法进一步问“为什么任务本身不能增长”；AI-GA 再问“为什么搜索者、训练方法和科研流程不能一起被学习”。

本章小结

• 创新引擎必须同时有 generation、selection 与 archive；

• 新颖性不是装饰，它给延迟显现的价值留下存活空间；

• 三类算法的本质差异，是被允许演化的对象范围越来越大。

03MAP-Elites：每一种类型都保留最优解

把“属于哪一类”与“这一类里多好”分开

视频字幕 04:15–06:22

MAP-Elites 先定义一个行为描述符 \(b(x)\)，例如机器人的身高、体重、步态频率或接触模式。描述符决定候选 \(x\) 属于哪个 cell；另一个函数 \(Q(x)\) 衡量它在该 cell 内的质量。二者承担完全不同的角色：

\[c=b(x),\qquad e_c \leftarrow \begin{cases} x, & c\text{ 为空},\\ x, & Q(x)>Q(e_c),\\ e_c, & \text{其他情况}. \end{cases}\]

其中：

• \(x\) 是新候选；\(b(x)\) 把它映射到行为单元 \(c\)；

• \(e_c\) 是该 cell 当前保存的 elite；

• \(Q\) 只比较同一行为类型内谁更好；

• 空 cell 被填充，已有 cell 只有遇到更优同类才替换。

为什么它不是“质量与多样性各打一个分”

若把质量与新颖性压成一个标量，例如 \(Q(x)+\lambda N(x)\)，超参数 \(\lambda\) 决定了系统愿意为多样性牺牲多少质量。MAP-Elites 采取另一种结构：先分类型，再在每类里争冠军。于是系统不需要用同一条折中线比较一只矮而灵巧的机器人与一只高而稳定的机器人。

这带来三种学习价值：

1. 覆盖：看见哪些行为区域已经有解，哪些仍为空白；

2. 复用：环境变化或机器人受损时，从不同 cell 取替代方案；

3. 谱系：回溯最终 elite 的祖先，观察它经过哪些看似绕路的区域。

损伤适应与 Go-Explore：archive 的两种用法

视频字幕 06:22–08:18

视频报告了两个应用方向。其一是在模拟中预先生成大量不同步态；机器人受损后，不必从零重新学习全部控制，而是从行为档案里试出仍可工作的步态。其二是 Go-Explore：保存已经到达的状态与路径，回到有潜力的状态后再继续探索，避免每次都从起点穿越漫长的无奖励区。

本章小结

• behavior descriptor 回答“属于哪类”，quality 回答“同类中谁更好”；

• MAP-Elites 的目标不是一条 Pareto 折中线，而是整张地图的逐格精英；

• archive 使系统能覆盖、复用、恢复，并保留迂回谱系。

04从固定地图到开放生态：POET

QD 的天花板：环境还是固定的

视频字幕 08:18–09:41

无论 MAP-Elites 运行多久，只要任务表示被锁死，它最多得到更多种、更好的机器人，不会突然创造一种新的数学问题或开始改进 AI 本身。讲者由此把开放性定义为更强的要求：系统产生的新解还要改变后续问题空间，像叶片创造食草生态位、食草动物又创造捕食、合作与寄生关系。

POET：环境与 agent 成对共同演化

视频字幕 09:41–11:53

POET（Paired Open-Ended Trailblazer）把环境也放进档案。简化后的循环是：

1. 从环境库选择一个环境并轻微变异；

2. 用现有 agent 集评估新环境；

3. 只有当环境不是太简单、不是完全不可解，并且与已有环境足够不同，才加入档案；

4. 为环境训练或迁移 agent；

5. 允许某个环境中学到的策略跳到另一个环境，形成非线性课程。

视频强调，一些困难障碍课程无法通过直接训练解决，人类手工安排的单线课程也会失败；最终成功路径依赖 agent 在多个环境间迁移，经过事先无法规划的 stepping stones。

本章小结

• QD 扩张固定任务内的解，POET 同时扩张环境与解；

• 难度适中、新颖性和跨环境迁移共同构成自然课程；

• 真正的开放性仍受环境表示语言限制。

05AI 生成算法：让“设计 AI”本身被学习

从手工模块到元搜索

视频字幕 11:53–13:57

讲者观察到一个长期趋势：随着数据与计算增加，手工设计的环节常被学习型环节替代。他据此提出更激进的研究纲领：既然 AI 的架构、训练算法、学习目标、环境与 benchmark 都是人设计的，为什么不让 AI 学习如何产生和改进这些对象？

讲者用自然进化的长期过程作可行性类比：在巨大时间和计算规模下，演化最终产生了样本效率很高的人类智能。他希望复制这类开放生成过程，并通过人工计算平台加速。

三个互相卡住的层级

AI-GA 的难点不是“让 LLM 多写几段代码”，而是三层必须闭合：

1. 任务层：生成什么任务，怎样判定它可学、有趣、不重复？

2. agent 层：修改 prompt、工具、计划、记忆或代码后，怎样评价是否真正改进？

3. 元层：谁来改进任务生成器、evaluator 和自我改进算子本身？

如果只有第一层，系统可能批量生成无意义任务；只有第二层，agent 会过拟合固定 benchmark；元层没有独立约束，生成器与 evaluator 还可能共同漂移。

本章小结

• AI-GA 把“手工设计 AI”改写为“搜索制造 AI 的过程”；

• 可生成对象包括架构、训练算法、环境、目标与 evaluator；

• 这是研究纲领，成败取决于任务、评价和元改进闭环，而不是一句“让 AI 自我改进”。

06OMNI：怎样找到“值得学习”的任务

巨大任务空间为何反而更难

视频字幕 13:57–15:13

当搜索空间扩展到自然语言或任意环境时，绝大多数候选不是好课程：有的太简单，agent 已经会；有的太难，长期没有学习信号；有的虽可执行却没有意义；还有的只是旧任务换皮。均匀采样等于在任务海洋里捞针。

一个常见信号是学习进度（learning progress）。讲义可用下式表达其直觉： \[LP_t(\tau)=\left|\overline{R}_t(\tau)-\overline{R}_{t-\Delta}(\tau)\right|,\] 其中 \(\tau\) 是任务，\(\overline{R}_t\) 是当前窗口的平均表现，\(\Delta\) 是比较窗口。若表现正在变化，任务可能处在“可学但尚未学完”的甜区。

Foundation model 作为 interestingness 代理

视频字幕 15:13–16:08

OMNI 的转折是：与其由研究者手写“什么叫有趣”，不如查询在互联网文本上预训练的 foundation model，让它近似判断候选任务是否新颖、是否与已掌握任务显著不同、是否符合人类常识中的“值得注意”。然后把这个判断与 learning progress 合并，持续生成课程。

自然语言任务必须落到可执行奖励

视频字幕 16:08–17:46

视频用模拟厨房举例：系统可以提出“把烤面包机倒置放在水壶上”。但一句自然语言不是训练信号；系统还必须自动判断任务是否完成。当时视频模型效果不佳，项目让 GPT 编写奖励函数，并读取模拟器状态来验证物体关系。

由此形成一条不可缺的链： \[\text{自然语言任务}\longrightarrow \text{可执行 verifier}\longrightarrow \text{状态查询}\longrightarrow \text{奖励}\longrightarrow \text{策略更新}.\]

OMNI 由此能构造类似“找到苹果 → 识别刀 → 拿起刀 → 切苹果”的课程。关键不是顺序看起来合理，而是每一步都处在 agent 的可学习区间，并为后续任务提供能力。

本章小结

• 巨大任务空间的瓶颈从“能否生成”转为“哪些值得训练”；

• learning progress、interestingness 与可执行 verifier 分别回答不同问题；

• foundation model 给出可用的人类趣味代理，但不拥有客观价值判断。

07从 OMNI 到 OMNI-EPIC：让代码生成环境

Darwinian-complete 是表达能力，不是完成度

视频字幕 17:46–18:51

只要 OMNI 仍依赖固定厨房模拟器，它的任务都被厨房的对象、动作和物理规则限制。视频进一步提出 Darwinian-complete search space：让系统直接生成环境代码与奖励代码。由于通用编程语言可以表达任意可计算过程，任务族原则上可以跨越物理控制、逻辑、编程、问答乃至新的模拟器。

现实系统仍被算力和样本效率卡住

视频字幕 18:51–20:40

视频明确承认现实约束：系统没有无限算力，强化学习仍然样本低效，所以演示只在受限平台内生成并学习部分任务。移动平台、多米诺、复杂建筑、球门与清洁任务展示的是生成器的多样性；“运行一亿年会怎样”是思想实验，不是已经完成的长期实验。

这一区分至关重要：

• 表达层：代码理论上能描述什么；

• 提议层：foundation model 实际会提出什么；

• 求解层：RL/agent 在预算内能学会什么；

• 选择层：系统如何判断任务值得保存；

• 安全层：哪些环境或奖励即使有趣也不应被执行。

本章小结

• OMNI-EPIC 试图把环境表示从固定模拟器扩展到代码；

• 表达能力扩大后，任务提议、训练预算、verifier 与安全反而更关键；

• 视频展示和“一亿年算法”属于研究方向与思想实验，不能写成长期能力证明。

08自动设计 Agent：从档案搜索到自我修改

搜索对象不再只是模型权重

视频字幕 20:40–22:34

视频的第二支柱是提升解决环境的 agent。今天的 agentic system 通常由 prompt、工具调用、计划循环、反思、记忆、代码与外围 scaffold 组成，人类手工连接这些部件。AI-GA 的问题是：能否把整个系统表示成可修改对象，维护多样档案，从中选择一个版本，让模型改写、部署、评估，再按质量或差异加入档案？

视频描述系统随时间超过同期手工方案，但字幕没有给出任务数、模型、预算、统计不确定性。讲义因此把它理解为项目机制与讲者报告，而不是“自动设计普遍优于人类”的定论。

Darwin–Gödel Machine：开放档案 + 自修改

视频字幕 22:34–23:56

Darwin–Gödel Machine（DGM）把两种思想组合：Darwin 式的多样演化档案，以及 Gödel machine 式的自我修改。视频的消融叙事强调：只做贪婪 hill climbing 结果较差；保留多样 agent archive 会改善；禁止 self-improvement 也会变差；两者结合表现最好。

HyperAgents：迁移“如何改进自己”的知识

视频字幕 23:56–26:09

字幕把后续项目译作“超智能体”，本讲义保留英文候选名 HyperAgents。DGM 在编程任务上有一个特殊耦合：编码能力提高，修改自身代码的能力也可能一起提高；写诗、金融建模等非编程任务却没有天然耦合。视频描述 HyperAgents 把下游任务 agent 与元改进 agent 放进统一可编辑代码库，同时优化任务能力与改进能力。

更有意思的主张是元改进迁移：系统先在任务 A 学会怎样改进自己，迁移到任务 B 后即使停止继续自改，也携带一部分“如何改进”的知识。

本章小结

• agentic system 的可搜索对象包括 prompt、工具、计划、记忆与代码；

• DGM 的核心是开放档案与自修改算子的组合；

• HyperAgents 试图把下游能力与“改进能力”解耦，从而跨任务迁移元知识。

09记忆与科学自动化：ALMA 与 AI Scientist

ALMA：把记忆架构也变成搜索对象

视频字幕 26:09–27:28

持续学习 agent 需要保存过去交互、选择何时写入、怎样压缩、何时检索并放回上下文。常见做法由人手工定义这些模块。视频中的 ALMA 将同一 AI-generating philosophy 用于记忆：生成多样记忆设计，形成带分支的 archive tree，在任务上评价并继续变异。

视频称搜索出的设计优于手工系统、计算增加时继续改善，并在分布外任务上更强。由于字幕没有提供 ALMA 全称、作者、基准、数据规模与误差，这些只能写成讲者报告的结果。真正的科学问题是：fitness 是否泄漏测试任务？更大上下文成本是否被公平计入？OOD 是否在设计冻结后定义？

AI Scientist：把循环扩展到科研生产线

视频字幕 27:28–28:38

AI Scientist 把开放循环放到机器学习科研：产生想法、写代码、设计并运行实验、分析和可视化、撰写论文、模拟同行评审，再读取自己的结果提出下一轮想法。

讲者认为机器学习尤其适合这条路线，因为实验平台本身就是计算机，假设可以通过代码快速测试。他还提到在组织许可下向研讨会同行评审投稿并被接受；但字幕将会议名和百分比数字识别得含混，本讲义不写死这些细节。

本章小结

• ALMA 把 memory architecture 纳入开放式设计搜索；

• AI Scientist 把生成–评价–档案循环推进到端到端科研；

• 自动化覆盖率、科研质量与科学真理必须分层验收。

10统一框架：生成、选择、档案与目标切换

这些项目为什么其实在做同一件事

视频字幕 28:38–29:57

从 MAP-Elites 到 AI Scientist，表面对象不断变化，底层骨架却高度一致：

可以用一个讲义概念式压缩多信号选择： \[S(x)=\alpha Q(x)+\beta N(x)+\gamma LP(x)+\delta I_{\mathrm{FM}}(x)-\lambda R_{\mathrm{risk}}(x).\] 其中 \(Q\) 是质量，\(N\) 是新颖性，\(LP\) 是学习进度，\(I_{\mathrm{FM}}\) 是 foundation model 给出的趣味/差异代理，\(R_{\mathrm{risk}}\) 是风险。这个式子不是视频给出的原始公式，也不主张简单加权就是最佳实现；它只是提醒读者：不同项目实际上在组合不同的选择信号。

从工程视角重写 Clune 的结尾问题

讲者最后让听众思考：自己的工作中，哪些手工设计环节应该改成学习过程，并用开放式与 AI-generating principles 处理？一个可执行版本不是“把一切交给 AI”，而是依次问：

1. 当前只有一个冠军，还是保留了行为与失败模式不同的候选档案？

2. 评价是否只有一个易被钻空子的 proxy？

3. 哪些暂时不涨分的对象，可能为未来任务提供 stepping stone？

4. 任务和 benchmark 是否固定到足以让系统过拟合？

5. 生成器、evaluator 与安全闸门是否彼此独立、可检查、可回退？

本章小结

• 全片的共同语法是 generation → selection → archive → goal switching；

• 研究对象从行为扩展到任务、环境、agent、memory 与科研流程；

• 真正困难的部分始终是评价：什么算更好、不同、可学、值得和安全。

11边界审计：这场演讲不能证明什么

六个必须拆开的命题

怎样验证一个真正的 stepping stone

事后看到成功谱系，很容易把每个祖先都叫作“关键垫脚石”。更严格的检验至少需要：

1. 反事实删除：从 archive 删除候选 \(z\) 或禁止其成为父代，最终能力是否稳定下降？

2. 匹配预算：比较开放档案与单一路径时，总训练、评价、生成和检索成本是否相同？

3. 多种子：效果是否只来自一次幸运谱系？

4. 跨任务复用：\(z\) 的价值是否只在发现它的任务成立，还是能打开后续任务？

5. 时间诚实：descriptor 与选择器是否只使用当时可见信息，而非未来结果泄漏？

本章小结

• 愿景、机制、演示、benchmark 结果和通用能力必须分层；

• 可表达性、可学习性、意义、可靠性与安全是五道独立门；

• 开放式算法最需要的不是更响亮的口号，而是可区分机制贡献的消融与反事实实验。

12总结、术语表与复习路线

一页压缩

Clune 的核心贡献不是声称某个单独系统已经实现超级智能，而是提供一种统一研究视角：不要把创新压缩为一个固定 benchmark 上的单一路径；让系统维护多样谱系，并让任务、环境与改进机制本身成为可学习对象。

核心术语表

30 分钟时间轴

复习题

1. 为什么“与终点欧氏距离更近”不能代表迷宫中的真实进展？请给出另一个工程 proxy 失真的例子。

2. MAP-Elites 中 behavior descriptor 与 quality 各自负责什么？为什么不能混成一个概念？

3. 一个候选足够新颖，是否就应进入 archive？还需要哪些条件？

4. POET 与“把同一关卡逐渐调难”有何根本不同？

5. Learning progress 为什么不能替代 interestingness？Foundation model 又为什么不能成为客观价值函数？

6. 为什么“代码是图灵完备的”不能推出“agent 能学会任意代码生成的环境”？

7. DGM 的开放 archive 与 self-modification 分别解决什么问题？怎样做匹配预算消融？

8. AI Scientist 完成一篇论文流水线后，仍缺哪些证据才能证明科学结论可靠？

9. 为你自己的一个项目定义候选、descriptor、quality、archive 与 goal-switching 规则。

10. 设计一个反事实实验，验证某个中间对象是真 stepping stone，而不是事后编故事。

最后带走的五句话

1. 困难目标的路径通常不能被最终指标提前完整描述。

2. 多样 archive 的意义，是让延迟显现的价值仍有未来。

3. 开放式不是无目标，而是多目标、可切换、可积累、能创造新问题。

4. Foundation model 让任务生成、趣味判断和代码改写更可操作，但也把偏差带进 evaluator。

5. “自动科研”最值得追问的不是能否产出文件，而是能否产生经得住独立复核的新知识。