OMNI-EPIC：当环境本身成为搜索对象

先讲一个故事

2019 年，一只两足小机器人站在 POET 的障碍赛道起点。它脚下的每一道沟壑、每一个障碍物，都由工程师写好的参数向量决定：缺口多宽、地形多粗糙、障碍多高。算法能自动调整这些数字，却永远调不出参数表之外的世界——想让它学踢球？工程师得先给"球"和"球门"写好生成代码。

接下来的几年，研究者各显神通：Voyager 让语言模型在 Minecraft 里写技能代码，但世界还是那个 Minecraft；Eureka 让语言模型写奖励函数，但任务是人定的；OMNI 让语言模型判断哪些任务"有趣"，但任务还是从固定的环境空间里采样。开放式学习（open-ended learning）的核心矛盾始终没动：环境这个笼子是工程师焊死的，算法只能在笼子里翻跟头。

2024 年 5 月，Imperial College London 与 UBC 的研究者给出了拆笼子的方案。R2D2 机器人（PyBullet 里的双轮小车）从 3 个人工种子任务出发：跨一座彩虹桥、爬一段楼梯、把球踢进球门。之后的一切都不再有人参与——Claude 3 Opus 现场写出下一个任务的完整 Python 环境：平台几何、物体摆放、物理参数、奖励函数、终止条件、成功判定，一段不少。一百次迭代后，它的任务档案里出现了多房间搜救、1v1 机器人足球、动态目标推送、跨越不等宽沟壑的跳跃挑战。

而整个系统最耐人寻味的地方，是它如何对待失败。第 9 号任务（在动态移动的平台上把箱子推到目标点）失败了——失败任务同样进档案。此后的平台类任务悄悄绕开了"在移动平台上推箱子"这个元素；第 12 号任务（障碍地形导航）失败后，第 13 号任务目标不变，障碍物却变少了。课程在无人的地方自己弯向了 agent 的能力边界。这不再是内容生成，而是一个会观察学生、会改考卷的出题人。

阅读基线：arXiv 2405.15568v3（ICLR 2025）TeX 源码全文与全部图表；外部证据检索日 2026-10-23。本文中"论文"指该版本。

故事与技术如何对应

先给结论

• 增量一句话：OMNI-EPIC 把开放式任务生成从"预定义参数空间采样"升级为"生成完整环境代码"，任务载体从低维参数向量变成（PyBullet 内的）程序；并首次把成功/失败档案（archive）、事前+事后双有趣性模型（MoI）与 learning progress 接进同一个可无限循环的自动课程。
• 生成侧证据强：长 run 200 个任务跨 niches 跳跃、niches 内持续变体；定量上显著高于"去掉 archive"与"只留 learning progress"两个对照。
• 学习侧证据窄而关键：真实 RL 只在 22 任务级验证；但消融链条（transfer、失败样例、learning progress 提示）完整指向"课程必须围绕 agent 能力"这一主张。
• 边界要记住：单一模拟器（PyBullet）、每任务一个 specialist（无泛化证据）、长 run 假设全部任务可学、有趣性由 FM 自己裁判无独立人类评估。作者对前三条均已自认（§6）。

研究动机

论文的出发点是一条清晰的证据链：

• 瓶颈迁移：学习架构（DreamerV3、Perceiver IO、Transformer）持续进步，但它们能学到的任务范围受限于数据。过去十年，AI 的瓶颈从"更好的学习算法"迁移到"从哪来多样化的任务数据"（Jiang et al. 2022）。
• 开放式答案：与其收集数据，不如让算法像生物演化一样持续生成并解决新挑战（Stanley 2017；Clune 2020 AI-GA 愿景）。生物演化是已知唯一造出通用智能的过程，其原则对 AI 有直接启发。
• Darwin Completeness：开放式算法要成功，任务空间必须大到能生成任何可能的学习环境。但这带来核心难题：无限空间里充斥着平凡、冗余或过难的任务；生物演化用了亿万年的计算量才逼出智能。科学问题变成——如何在 Darwin Complete 的搜索空间内高效生成既可学又有趣的任务。

前作分别卡在不同环节：

OMNI-EPIC 的回答是在 OMNI 上加 EPIC（Environments Programmed in Code）：任务 = 自然语言描述 + 环境代码，代码里连 reward 和 success 判定一起生成。原则上（Python 图灵完备 + 任意模拟器）这能表达任何可计算任务；本文刻意收窄到 PyBullet 一个模拟器，作为通往 Darwin Completeness 的第一步。

数学表示及建模

任务与环境

每个任务是一个二元组 $\tau = (d, e)$：自然语言描述 $d$（人可读）与环境代码 $e$（机器可执行）。$e$ 实现标准 Gymnasium API 的一个子集：

其中 get_task_rewards 返回 $[-10, 10]$ 区间内的密集奖励分量字典（供 RL 高效学习），get_success 独立判定任务是否完成（不参与训练）。奖励与成功判定分离是这套设计的要点：前者可被塑形（也因此可被 hack），后者只做事后裁判。

档案与检索

档案 $A = A_{\text{learned}} \cup A_{\text{failed}}$，由 3 个种子任务初始化，无上界增长。用预训练编码器（text-embedding-3-small）把任务嵌入为向量 $\mathbf{z}(\tau)$，以余弦相似度检索：

每次生成时随机选一个档案任务作锚点，取与其最相似的 5 个学成任务与 5 个失败任务作为 in-context 例子（用最相似而非最不同的，是把旧任务当 stepping stones）。

多样性度量：cell coverage

把所有方法的任务嵌入做 PCA 降到 2 维，在 $[\min, \max]^2$ 上以级别 $k$（主文 $k = 50$）划均匀网格，数被占据的格子数：

进展度量：ANNECS 与 ANNECS-OMNI

ANNECS（Enhanced POET）累积计数"新创造且最终被解决"的环境，要求环境（1）对当前 agent 不太难也不太易、（2）最终被系统解决。本文新增 ANNECS-OMNI，追加第三条：（3）相对已解决任务被 FM 判定为有趣。形式地，在第 $t$ 代：

其中 interesting 由 FM 给定档案判断近似。这把"有趣"第一次写进了开放式系统的进展指标——代价是指标本身带上了 FM 裁判的主观性（见我的评论）。

算法流程 / 方法

OMNI-EPIC 是一个六组件闭环。每轮迭代：

1. Task Generator（Claude 3 Opus，$T=0$）：以档案中最相似任务的 5 学成 + 5 失败例子为上下文，产出下一任务的自然语言描述。提示词要求任务 learnable（不太难/不太易、PyBullet 可行）且 interesting（novel / useful / creative / surprising），并写死机器人约束：能推不能抓、不做迷宫、设计不得对人有害。
2. Environment Generator（Claude 3 Opus，$T=0$，5 个 few-shot 代码例子）：把描述翻译成 PyBullet 环境代码（五个函数齐全）。编译错误带 traceback 回喂，最多修 5 轮；仍失败则弃置，回到第 1 步。
3. Post-Generation MoI（GPT-4o，$T=0$，10 个最相似档案任务）：模仿人类学术界的"查新"——新任务是否相对于档案 interestingly new？无趣则弃，回到第 1 步。
4. RL Training（DreamerV3）：每个任务训一个 specialist；新任务从嵌入最近的学成策略续训（transfer）。观测 = 本体感受 + $64 \times 64 \times 3$ 图像；R2D2 机器人 6 个离散动作；环境颜色随机化作域随机化。
5. Success Detector：调用环境代码里的 get_success（由 LLM 随环境一起生成）判断学成与否。学成 → 入档案；未学成 → 交回环境生成器修改（Task Reflection，GPT-4o，1 轮）。
6. 修改后仍失败 → 以 failed task 身份入档案，回到第 1 步。失败样例从此参与后续任务的上下文检索——系统"知道"自己哪里不行。

环境代码长什么样？以种子任务"彩虹桥"的 few-shot 例子为证（节选）：

class Env(R2D2Env):
    def __init__(self):
        super().__init__()
        # 平台与桥段：先定义尺寸，再相对定位
        self.platform_size = [3., 3., 0.5]
        self.platform_start_position = [0., 0., 0.]
        self.platform_end_position = [self.platform_start_position[0] + 30., ...]
        pride_colors = [[1.0,0.0,0.0,1.], ..., [0.7,0.0,1.0,1.]]  # 六色桥段
        for i, color in enumerate(pride_colors):
            segment_id = self.create_box(mass=0., half_extents=[...],
                                         position=[... + i * segment_size, ...],
                                         color=color)
            self._p.changeDynamics(segment_id, lateralFriction=0.8, restitution=0.5)

    def get_task_rewards(self):      # 密集奖励：站立 + 距离缩短
        return {"survival": ..., "distance_delta": ...}
    def get_terminated(self): ...    # 掉桥即终止
    def get_success(self): ...       # 抵达终点平台即成功

提示词细节（系统/用户提示全文、few-shot 代码、种子描述）随 TeX 源码与官方代码仓库公开，复现不存在提示词黑箱。

组件与超参

实验设计

论文用三层实验分工回答三个问题，外加消融与人类评估：

实验结果

长 run：代码空间里的发散与聚簇

200 个任务在嵌入空间里形成跨 niches 的跳跃与niche 内的变体：右下角是踢球入门家族，向左移动目标、移动障碍逐渐加入；左上区域整体切换为"把物体推进指定容器/区域"；右上则是（移动）平台与地形导航。同一 niche 内的变体不只是换皮——任务 90 家族同为"取回物体放回指定位置"，但世界（室外场地 / 连通房间 / 坡道连接的两层）、物体数（1 个 vs 多个）、时限（3 分钟 vs 5 分钟）都在变。种子任务（灰色节点）里没有任何动态物体，而生成任务大量出现移动平台、按钮拉杆、移动障碍。

短 run：课程弯向能力边界

示例 run：16 个任务学成、6 个失败、1 个被 post-generation MoI 判无趣弃置。三条"课程逻辑"证据：

• 组合式进阶：种子 1（带缺口彩虹桥）与任务 1（移动段桥）都学成后，任务 4 = 缺口 + 移动段的彩虹桥，从任务 1 策略续训成功。
• 绕开失败元素：任务 9（动态平台上推箱）失败后，后续平台任务（11、14、15）不再要求在移动平台上推物体。
• 失败降难度：任务 12（障碍地形）失败后，任务 13 同目标、障碍更少，学成。

定量：archive 与 MoI 的独立贡献

两个指标上 OMNI-EPIC 均显著高于两个对照（$p < 0.05$，Mann-Whitney U）。cell coverage 的显著性在离散化级别 10–40 下稳健；ANNECS-OMNI 随迭代持续上升，无停滞迹象。短 run 的 cell coverage 差异不总显著——作者归因于 run 太短，效果需要时间显现。

左上图：ANNECS 与 ANNECS-OMNI 对 OMNI-EPIC 没有差异——所有学成任务都被判有趣，因为有趣性过滤发生在训练之前而非回顾。右上图：学成比例随代数下降，且 OMNI-EPIC（续训）与同任务从零训练的差距持续拉大——任务在变难，transfer 的价值在增长。

消融：哪些机制是必要的

Ant 机器人（连续 8 维动作）同样完成多个生成任务，方法不绑死特定机器人或动作空间。人类评估（50 人）与 success detector 的一致率 72.7%——自动判定可用但有近三成分歧，主要卡在视觉判断类任务（附录 C 讨论 VLM 方案尚不成熟）。

我的评论

按审稿人立场，围绕真实增量（参数空间 → 程序空间 + 双 MoI + 失败反馈闭环）评估：

站得住的

• 表示升级是实质的。任务从参数向量变成带完整 API 的程序，环境、奖励、终止、成功判定一体生成——此前没有任何 auto-curriculum 工作把"环境代码"整体作为生成对象并接入 agent 表现反馈。
• 消融链条干净。no-LP=0 学成是强证据：learnable 不会自动涌现，必须显式机制化。transfer / 失败例 / 相似检索三组消融各自隔离一个机制，方向一致。
• 无提示词黑箱。全部提示词、few-shot 代码、种子任务、超参、代码都公开，复现门槛低。
• 诚实。simulated learning、非 Darwin Complete、无泛化证据、训练数据回忆风险，作者都自己写了。

主要批评

• 长 run 的"成功"是假设的。200 任务的图谱节点上，✓ 表示"假设学成"。生成侧与学习侧的证据强度严重不对称，而标题性的"explosive creativity"全部来自前者。若在 200 任务上真训 RL，archive 的分布（成功/失败比）会完全不同，事后 MoI 的查新对象也会不同——生成与学习的耦合动力学只在 22 任务级被观察过。
• 有趣性由 FM 自证。task generator（Claude 3 Opus）被要求生成有趣任务，post-generation MoI（GPT-4o）再判有趣，全程无人类对 interestingness 的独立评估；50 人评估只验证 success detector。ANNECS=ANNECS-OMNI 恰恰说明这个过滤器从未否决过任何学成任务——它是生成时的门卫，不是回顾时的质检。
• specialist 档案 ≠ 能力增长。每个任务一个策略，最近嵌入 transfer 只证明"续训更快"，没有任何跨任务泛化、零样本组合的证据。开放式的终极目标是能力增长，本文止步于任务多样性。后续 DiCode（同作者 Faldor、Cully）正是从这个缺口切入：孤立行为 vs 持续能力进展。
• 多样性指标是 proxy 的 proxy。cell coverage 依赖嵌入模型 → PCA → 网格化三层选择；语义空间的新不等于能力空间的新（把球门从 3 米挪到 3.1 米在嵌入上也是新任务）。多离散化级别的稳健性检查只回应了第三层。
• 成本与可扩展性。每任务 1 小时 × 2 GPU + 多次 LLM 调用；短 run 22 任务已是学术实验室极限。声称的"endless"在任何真实预算下都没被检验。
• 奖励函数无审计。论文注意到 success detector 与 reward 分离可防 reward hacking，但生成的 get_task_rewards 本身无人审查；失败回炉机制恰好会淘汰"学不动"的奖励，留下的是"对 RL 友好"的奖励——选择压力偏向可学性，不偏向任务的意义。

可检验的预测（论文自己的）

• 更长 run 中 ANNECS-OMNI 持续上升不饱和（长 run 只跑了 200 代）；
• 更强的 FM（更长上下文）能看全档案，但部分档案可见反而可能有利于创造力（论文 §3.2 的开放假说）；
• 放开到任意模拟器/任意代码即可逼近 Darwin Completeness——这是愿景而非结果，Python 图灵完备是存在性论证，不是可达性论证。

One More Thing

生成者-裁判同体。OMNI-EPIC 的结构是"FM 提议、FM 裁决、RL 执行"。同一个基础模型生态既定义什么算有趣（事前 MoI），又复核是否有趣ly new（事后 MoI），还生成成功判定代码。这个模式后来在同组的策略侧工作中反复出现（Foundation Model Self-Play、Darwin Gödel Machine、Automated Capability Discovery），开放式的适应度函数被整体外包给了 FM 的先验。它的风险与它的效率同源：FM 的有趣性先验决定了搜索空间里哪些方向"存在"。

任务 = 可执行代码，档案第一次可重放。自然语言任务清单只是历史；代码档案是任何人都能重放、审计、续训的环境库。开放式系统的 archive 从记录变成了资产——这为后续工作（把它当 benchmark 数据集、当课程数据源）留了一个没被本文用尽的接口。

有界的下一步。两个方向已经由外部证据标出：把 learnable 从提示词形容词变成可执行的验证（训练前廉价探测/证书，对应 DéjàQ、Automated Capability Discovery 一线的"可验证性"），以及把 specialist 换成 generalist（对应 DiCode 在 Craftax 中的持续课程）。两者都不推翻本文——它们都站在"环境=代码"这个接口上。

跨论文洞见 1：表征空间变大，不等于搜索就变好。OMNI-EPIC 把任务从参数向量扩展到可执行环境代码，扩宽了候选空间；但有意义的开放式搜索仍取决于表示、变异和评价如何共同塑造可达的适应度地形。可将LLM 算法搜索的 fitness landscape与epistatic modularity 与 local optima作为分析透镜：它们提示应分别检查候选多样性、有效行为差异及可学性，不能把二维 embedding 覆盖率直接等同于能力进展。这里是跨页综合问题，不是这些页面对 OMNI-EPIC 的实验证明。

跨论文洞见 2：开放式演化的"被改变量"需要说清。OMNI-EPIC 的闭环主要演化环境/任务，策略仍由每任务 specialist 学习；这与evolutionary coding agents所关注的代码/agent 演化轴不同。并读AI Finds a Way可把"新任务持续出现"与"解决者自身能力持续增长"区分开来：前者是本文有证据展示的系统行为；后者不能由任务档案发散或 transfer 续训优势单独推出。

证据边界（open-endedness）：本文可操作化的结论是，在 PyBullet 这一模拟器中，LLM 生成的任务代码、成功/失败档案、MoI 与 learning-progress 提示能够形成自动任务生成/筛选闭环；cell coverage、ANNECS-OMNI 和有限真实 RL run 是具体测量。"无限开放"、"像生物演化"、"会观察学生的出题人"属于启发式类比或研究愿景；Python 图灵完备不证明当前系统可生成、可学习任意环境，PCA 网格覆盖也不等同于真实行为空间覆盖。论文明确承认 PyBullet 限制，因此不要把 Darwin Completeness 当作已达成结论。

论文附录 B 的游戏界面：同一个任务生成循环，把 RL agent 换成人类玩家，就是一款难度自适应的无限游戏——本文离日常生活最近的一张脸。成瘾性与奖励审计问题，见下方讨论角色中的社会影响评估。

完整图谱 / Figure Gallery

论文全部图表收录。下面是正文未展开的附录图：长 run 全连线版与两种可读性变体、追加短 run（Run 2–5）、三组消融任务图、人类评估界面、多样性散点与稳健性曲线、VLM success detector 输入示例、以及短 run 全部 21 个任务的环境截图。

长 run 任务图谱（全部连线 / 着色变体）

追加短 run（Run 2–5）

消融任务图

人类评估与量化附录

VLM success detector 输入示例

短 run 全部任务环境（21 张）

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

# 1) 环境协议：PyBullet+R2D2Env → 纯 Python 网格世界（LLM 一次能写对）
class Env:                       # 仍实现五函数 API
    def reset(self) -> obs ...
    def step(self, a) -> (obs, rewards, done)
    def get_task_rewards(self) -> dict   # 密集、[-10,10]
    def get_terminated(self) -> bool
    def get_success(self) -> bool

# 2) RL：DreamerV3+2GPU → tabular Q-learning / 小 PPO（CPU 即可）
# 3) 档案：JSON 文件；嵌入：text-embedding-3-small（检索最相似 5 学成+5 失败）

Reference / Evidence

本论文
• arXiv 摘要页：arxiv.org/abs/2405.15568
• 原版 PDF：arxiv.org/pdf/2405.15568
• HTML 全文（v3）：arxiv.org/html/2405.15568v3
• 官方代码仓库：github.com/maxencefaldor/omni-epic
• 项目页（含任务图谱交互版与视频）：omni-epic.vercel.app · dub.sh/omniepic
• ICLR 2025 收录佐证（项目页/GitHub 自述）：GitHub 仓库标题
上游（论文引用谱系）
• AI-GA 愿景：Clune, AI-GAs: AI-generating algorithms — arXiv 1905.10985
• POET：arXiv 1901.01753 · Enhanced POET（ANNECS 出处）：arXiv 2002.04776
• OMNI（MoI 来源）：arXiv 2306.01711
• Voyager：arXiv 2305.16291 · Eureka：arXiv 2310.12931 · GenSim：arXiv 2310.01360 · EnvGen：arXiv 2403.12014 · MarioGPT：arXiv 2303.18259
• DreamerV3：arXiv 2301.04104 · PyBullet / Gymnasium：bullet3 · Gymnasium
• 开放式综述：Stanley et al., Why Greatness Cannot Be Planned / Open-Endedness：arXiv 1707.06745（论文引用 stanley2017open）
下游与外部核验（本文写作时检索）
• DiCode（同作者后续，批评性引用）：arXiv 2602.08194
• DéjàQ（可验证问题的开放式演化）：arXiv 2601.01931
• Automated Capability Discovery：arXiv 2502.07577 · Foundation Model Self-Play：arXiv 2507.06466 · Darwin Gödel Machine：arXiv 2505.22954
• 站内跨论文对读：AI Finds a Way · Fitness Landscape of LLM Algorithm Search · Epistatic Modularity & Local Optima · Evolutionary Coding Agents Evolve
• 开放式研究文献清单（Zhang 维护）：jennyzzt/awesome-open-ended
• 作者公开背景（alphaXiv 个人页）：alphaxiv.org/@maxence-faldor