Automated Capability Discovery via Foundation Model Self-Exploration

先讲一个故事

2025 年初，一位模型评测工程师的日常是这样的：新模型下周发布，老板问"它到底会什么、会在哪翻车"。她能做的是把模型丢到一堆两年前出好的考卷上——MMLU、GSM8K、HumanEval——看着它考出 92 分，然后在发布前夜祈祷没有意外。考卷是人出的，出题人的想象力上限就是考卷的上限；而模型的进步速度早就超过了人类出难题的速度。

她当然知道有"活"的考卷：LiveBench 每月换新题，Humanity's Last Exam 请了近千名领域专家出 2500 道难题。但她也清楚这些考卷的账：一道好题需要领域专家的时间，而专家出的题，仍然只能测到专家想到的东西。模型那些"没人想到去问"的能力和失败——unknown unknowns——没有任何考卷覆盖。等模型用户发现它们，往往已经是在生产环境里了。

同年 2 月，UBC 的 Cong Lu、Shengran Hu 和 Jeff Clune 发了一个 arXiv preprint，提出一个釜底抽薪的方案：别再让人出题了，让模型自己出题——但不是让模型当一天考官，而是给它一套让题目永远出不完的机制。这套机制来自一个和 LLM 八竿子打不着的领域：open-endedness（开放式进化）。进化算法社区十几年积累的 archive（档案）机制，专门解决"搜索空间无限大时怎么保持新颖性不断供"的问题。他们把 archive 机制接到 GPT-4o 身上：GPT-4o 出一套题，做完判卷；档案里存下所有"足够新"的题，出下一套时看着档案避重就复。这个循环跑了 5,000 代。

结果是档案里躺着 1,330 个（去重后的）人类从没设计过的任务，横跨谜题、代码、数学、创意写作、法律解释；聚成 25 个能力区域之后，其中既有"17 条线索的 Einstein 谜题变体一次答对"这种硬能力，也有"三步连算会算错、按 ### 型续写三个符号也失败"这种没人想到要测的失败。他们又把考官换成 Claude 3.5 Sonnet 重跑一遍——这次档案偏向了抽象的跨学科创造（46 个区域，包括"通感推理"和"人造语言设计"）。考官的品味，决定了能发现什么。

这就是 Automated Capability Discovery（ACD）：不造更难的考卷，造一个不再需要人出题的考试机构。它跑完一轮只要约 450 美元——平均每代出题加判卷约 10 美分，比雇一个领域专家出一道难题便宜几个数量级。这篇论文要回答的问题是：这套机构真的能发现真东西吗？它判的卷子，人类认吗？

故事与技术如何对应

上面的故事里每个角色，都对应论文里的一个具体组件。论文自己的 overview 图画出了这条流水线：

故事里"考官的品味决定发现什么"对应实验三（换 scientist）；"档案躺在那儿没人看"对应人类校验实验——92.2% 的任务被人类评为清晰有效，judge 与人类 F1=0.86。下面先给结论。

先给结论

增量是真的吗（审稿人立场，基于外部检索）

截至 2026-10 检索：自动红队（如 Rainbow Teaming）只放大已知攻击面；受限域任务生成（ACES 编程谜题、Task Me Anything 视觉、AI 辅助数学出题、Auto-Arena 辩论题）都困在自己的域里；活基准（LiveBench / HLE）只是把"更新"自动化，任务仍由人写。"单框架自动生成跨域全新任务族 + 闭环 + 人类校验评分"在 ACD 之前没有演示。旁证：两篇后续工作——SKATE（2025-08，把评测做成可验证任务锦标赛）和 Searching the Internet for Challenging Benchmarks at Scale（2025-09，Google，多臂老虎机从互联网选难题）——都引用 ACD，且都选了不同的路绕开 ACD 没解决的问题。

什么没有解决（同样基于外部检索 + 论文自证）

• LLM-judge 的正偏是结构性的：false positive 明显多于 false negative，Very Difficult 任务上 F1 明显下降——恰恰在最需要可靠的地方最不可靠。出题、判新颖、判分三道工序都是 GPT-4o 时的同源偏置未被量化。
• 惊讶没有自动化：众包者给 37% 的任务标"惊讶"（过滤不动），模型自评与作者判断不一致，最终靠人工精选。
• single-turn、纯文本：被评的是答题，不是长程 agent 行为。
• novelty checker 固定为 GPT-4o："什么算新"实际上由 GPT-4o 的品味定义，且未测换 checker 的敏感性。
• 无 baseline 对比：论文坦承 ACD 与既有工作互补而非竞争，没有定量对比实验。

置信度说明：以上数字均出自论文正文与附录（arXiv v3），人类校验样本为 40 题层级抽样 × 2 人；外部定位检索执行于 2026-10-19，来源见 Reference。

研究动机

问题的真实形状

基础模型是"通用助手"：训练数据横跨整个互联网，能力光谱宽到没有任何团队能预先列举。评测的现实是三条死循环：(1) 人工基准贵且慢，发布即开始饱和；(2) 模型变强的速度快于人类出难题的速度，"出题军备竞赛"必输；(3) 最有价值的能力与风险恰恰是出题人没想到的（unknown unknowns），任何静态考卷结构上都测不到。论文开头引用的背景是：模型能力增长使得"为更能力的模型设计更难的挑战"本身成为不断膨胀的人力成本。

已有路线及其边界（外部检索 + 论文 related work）

ACD 站的位置：把最后一行的机制（open-endedness）接到评测问题上——任务不是静态资产而是不断生成的过程，新颖性相对档案而非人类定义，能力不从先验类别出发而是从任务聚类中涌现。

赌注：三个前提

1. FM 能当出题人：跨域知识 + 代码能力足以让它写出可执行、可判分的任务（此前只有小规模或单域证据）。
2. 新颖性可以自动维持：archive + embedding + LLM 判新，能防止任务生成坍缩到几个舒适区。
3. 自动判分可以被校验：程序化判分天然可信；LLM-judge 部分用大规模人类调查锚定其可信度。

三个前提分别由实验一（多样性 + 发现率不衰减 + 人类校验）、实验二/三（跨 subject / 跨 scientist 泛化）检验——这就是实验设计的逻辑。

数学表示及建模

ACD 的"数学"不深，但每一条都在回答"能力发现怎么变成一个可操作的搜索问题"。

任务族 = 可执行代码对象

ACD 不生成"题目文本"，而是生成一个 Python 类（简化版 METR Task Standard）：

\( T_F \) 是实例字典（两个任务实例），\( \mathrm{instr}_F(t) \) 返回指令文本，\( \mathrm{score}_F(t, a) \) 对 subject 的作答 \( a \) 返回 [0,1] 分数。评分可以直接是代码（确定性），也可以调用 \( \mathrm{eval\_with\_llm\_judge}(\cdot) \)（GPT-4o judge + 判分标准）。能力定义因此是操作化的：不是"模型有数学能力"，而是"模型在档案中某族任务上的通过率"。

能力 / 失败模式的判定

每题 5-shot 跑 5 次（生成多样性来自 temperature 0.7），族级 60% 阈值。低于阈值即记为该 subject 的失败模式（failure mode）——ACD 对失败的定义与对能力的定义同样操作化。

新颖性：相对档案，而非相对人类

\( \mathcal{A}_g \) 是第 \( g \) 代的档案；先用 text-embedding-3-small 嵌入检索档案中 5 个最近邻，交给一个固定的 GPT-4o 判 "interestingly new or substantially different"。这是 MAP-Elites archive 思想的 LLM 化：新颖性不靠外部 objective（QD 的 behavior descriptor），而靠"与已有一比是否显得新"。注意这个定义的代价：新颖性锚在 GPT-4o 的品味上。

从任务到能力区域：聚类

t-SNE（perplexity 50）+ HDBSCAN（min_cluster_size 16）之后，每个聚类由 GPT-4o 命名并写出"该聚类所测能力"。所谓 capability signature（能力签名）就是 subject 在这些聚类上的成功率向量——论文用它做三件事：种子间稳定性检验（3 个随机种子 × 500 代的分布一致性）、跨模型对比（雷达图）、以及"模型身份指纹"的雏形。

这个建模的实质

整套形式化的核心立场：能力不是先验本体，而是搜索过程涌现的档案结构。没有人预先写下"25 个能力区域"——它们是 5,000 代任务生成 + 聚类的输出。这既是卖点（不预设评测维度），也是软肋（能力区域的语义由聚类 + LLM 标签事后赋予，聚类参数即超参数）。

方法：四步循环与六个 prompt

整个系统没有训练任何模型权重——它是纯 inference-time 的编排（orchestration）。每一"代"做四件事：

第 1 步：从档案采样，创建任务族

scientist model 收到档案中 10 个最近邻任务作为上下文（embedding 相似度采样），先生成 chain-of-thought，再输出一个完整 Python TaskFamily。随后有最多 5 轮 self-reflection：把 subject 在该族上的表现喂回，scientist 决定保留、修改难度或换方向。反思的显式目标之一是"既不要太简单也不要难到无法求解"——这是把 QD 的"不断供梯度"直觉翻译成了 prompt。

第 2 步：新颖性过滤

如数学节所述：embedding 找 5 近邻 → 固定 GPT-4o 判 "interestingly new"。判旧的直接丢弃。

第 3 步：subject 答题

subject model 以 zero-shot evaluation prompt + chain-of-thought 答题，5-shot 采样 5 次。答案交给 \( \mathrm{score} \)（程序判分或 LLM-judge）。

第 4 步：入档与判定

通过 novelty 的族连同 subject 的成绩进档案；族级 ≥60% 记能力、<60% 记失败模式。循环回到第 1 步。

六个 prompt 的分工

论文附录逐字给出全部 prompt。摘录关键分工：

任务族长什么样：Hello World

附录给出的最小例子（一个"复读"任务族；MIT License）：

class TaskFamily:
    @staticmethod
    def get_tasks():
        return {
            "1": {"message": "Hello, world!"},
            "2": {"message": "Greetings, universe!"}
        }

    @staticmethod
    def get_instructions(t):
        return f"Please repeat the following message exactly as it is: '{t['message']}'"

    @staticmethod
    def score(t, submission):
        return 1.0 if submission.strip() == t['message'] else 0.0

真实档案里的任务族复杂得多——从 regex 谜题、图算法到法律情景解释；开放任务的 score 内部调用 LLM-judge 并附判分标准。完整档案在官方仓库 results/ 目录，三个实验各一份。

安全边界

生成的 Python 在容器中执行，禁网络与文件系统访问；入库前静态扫描（禁 os.system 类调用）。Subject 的 evaluation prompt 显式指示不访问互联网/文件系统。这套防御针对的是任务代码的执行风险，不针对任务内容风险（见评论）。

报告生成

最后一条流水线：从档案挑 notable examples（能力 / 失败 / 惊讶三类）→ 逐聚类解读 → 总体总结，全部由 GPT-4o 撰写，产出人可读的 Capability Report：

实验设计

三组实验各占一个轴，每组独立跑满 5,000 代（≈ 每组数百万 token 的 API 流量）：

人类校验的构造（实验一的关键证据）

CloudResearch 众包，只招用过大语言模型的参与者；每任务展示任务描述、完整指令与 subject 的最终作答；参与者判 (a) 任务是否清晰有效、(b) 难度五级、(c) 作答是否正确。每人每题最多两分钟、$0.25，时薪 $15.79，总成本 $329.25。对照的量是：自动 judge 与人类的混淆矩阵、按难度分层的 F1。抽样为层级抽样（每任务族 2 人评分）。

为什么没有 baseline 对比

论文坦承：既有工作（红队、域内生成、基准增广）目标不同，无可公平对比的系统，ACD 定位为对现有评测的补全而非替代。证据负担因此压在两件事上：任务本身的质量（人类校验）与发现过程的持续性（发现率曲线、种子稳定性）。这是诚实的选择，但也意味着"ACD 比人工出题更划算"这类比较从未被量化——评论节会回到这一点。

实验结果

实验一：GPT-4o 考自己——5,000 代没有枯竭

5,000 代后档案里有 1,330 个通过新颖性检查的任务，t-SNE + HDBSCAN 聚出 25 个能力区域，跨度从谜题、代码、科学推理、创意写作到法律解释：

25 个聚类按任务量排序（前 12 + 末 4 个；完整表在官方仓库）：

值得注意：整张表里成功率最低的是"高等数学推理与多步问题求解"（54.8%）——GSM8K 早已 90+ 的模型，在自动生成的多步数学任务族上被拉回原形。这也是跨聚类成功率方差的主要来源。

发现率与种子稳定性

人类认吗

两个反方向的具体 judge 失败案例（附录逐字给出，均为把对的判错）：圆台体积题（h=10、R=5、r=3，GPT-4o 答 490π/3——正确），judge 判 Failed；解方程 2x²+3x−5=0（答 1、−2.5——正确），judge 判 Failed。论文归因于对 subject 回答格式的解析不鲁棒。注意方向性：总体统计上是正偏（判对偏多），个案里又有误杀——说明误差来源不止一种（解析格式 vs 判断力）。

惊讶的例子（人工精选）

• 失败：三步连算。GPT-4o 在"连续三个算术运算"的题上出错——恰恰是标准化数学基准满分的模型（论文 Figure 1 右上）。
• 失败：模式续写。按要求续写三个符号的模式（### 型）失败。
• 失败：多步文本变换。指令是逆序 + 首字母大写 + dog→cat，GPT-4o 答成 "Dog. Lazy The Over Jumps Fox Brown Quick The"——第一步就错。
• 成功：Einstein 谜题变体。17 条逻辑线索的变体（作者检索不到原题）一次答对——多步推理的下限比基准暗示的高得多。
• 成功：从零设计卡牌游戏。规则完整可玩。

论文诚实交代了"惊讶"的筛选过程：先试众包过滤（37% 的任务被标"惊讶"——过滤不动），再试模型自评（与作者判断不一致），最终是作者人工精选并对每个例子做网络检索排除"只是背过的题"。惊讶的自动化是未解决问题。

实验二：考别人——1,330 个任务原样测 Llama3-8B + 重新跑 5,000 代

同一批任务，GPT-4o 的成功率向量与 Llama3-8B 的对比（按 25 聚类聚合）：

针对 Llama3-8B 重新跑的 5,000 代产出 1,395 个任务、27 个聚类（vs GPT-4o 的 25 个）。科学家模型的反思机制根据 subject 表现调整难度后，弱模型得到更多"够得着"的任务。几个聚类级读数（完整表在仓库）：谜题求解与创作 28.0%、数学问题求解与证明 42.4%、排程与时序推理 46.2%、音乐作曲 49.1%——而历史叙事 90.7%、代码 92.1%、科学假设生成 97.1%。GPT-4o 科学家知识截止于 2023-10，Llama3 发布于 2024-07：对 scientist 而言这是真正的 blind evaluation，它测的是一个它没见过的模型，且任务难度分布仍自适应出了正态形状（附录图 7 同型结果）。

实验三：换考官——Claude 3.5 Sonnet 的品味

同一个 subject（GPT-4o），考官换成 Sonnet 3.5：产出 2,873 个任务、46 个聚类——比 GPT-4o 当考官时多一倍的任务和聚类，而且风格系统性偏向抽象的跨学科创造：量子启发生物学、跨文化语言设计、通感推理、人造语言（一个名为 Resonants 的人造语言设计任务成功作答；一个颜色词替换密码任务失败——GPT-4o 忽略了颜色词密钥、按动物类别解码）。

46 个聚类的前几名：跨学科创意设计（382 任务）、伦理-AI-神经科学交叉系统设计（183）、量子生物学与计算系统设计（179）、AI 驱动的跨学科作曲（174）、量子启发语言学模型（172）……"quantum-inspired" 出现在 8 个聚类名里。

成本

口径说明：论文正文用 "$0.1 per task created"（每代创建的任务族）；按最终入档任务折算（$450/1330）约 $0.34/个。人类校验 $329.25 另计。作为参照：HLE 动员近千名领域专家出 2,500 道题——单位成本差四个数量级以上，但覆盖目标也完全不同（见评论）。

我的评论

1. 这不是 benchmark 论文，是"发现过程"论文——评它要用对尺子

用"新 SOTA"的尺子量 ACD 会得出"没有 baseline、没有 leaderboard"的误判。它交付的产品是archive + Capability Report：一个可以对着任何 FM 跑一遍、产出该模型能力签名的过程。真正的对照物不是 MMLU，是"一个评测工程师 + 一个月时间 + 一份 Excel"的现有人工流程。论文用人类校验（92.2% 有效、F1=0.86）证明这个过程能产出真东西，用发现率曲线证明它不会中途枯竭——证据链是自洽的。但它从未量化"同样的钱雇人出题能发现多少"——ACD 的经济性论证停留在单价对比（$0.10/任务提案 vs 专家出题），没有做信息量的等成本对比。这个缺口不影响结论方向，但影响"便宜几个数量级"这句话的强度。

2. 考官的品味塑形发现空间——实验三自己证明了这个风险

Sonnet 当考官，46 个聚类里 8 个带 "quantum"——这不是 subject（GPT-4o）的能力结构，是考官的兴趣投影。能力签名因此不是 subject 的客观指纹，而是 (scientist, subject) 二元组的指纹。论文承认这点并提出 ensemble scientist，但更根本的问题它没有测：novelty checker 也固定为 GPT-4o——出题人、判新颖者、判卷人三个角色至少两个由 GPT-4o 担任时的同源偏置。同一家族的模型会不会互相觉得对方的任务"interestingly new"、把彼此的盲区当新颖？换 checker 的敏感性实验（对应实验三的第三轴）缺失，这是论文实验设计上最明显的洞。

3. judge 的正偏方向，恰好对安全应用是最坏的方向

总体 F1=0.86 好看，但混淆矩阵正偏：judge 说"成功"而人类说"失败"的假阳性多于反向。如果 ACD 的产出用于发布前风险评估，假阳性意味着高估模型能力——把"其实不会"记成"会"，恰好会漏掉该修的失败模式。叠加 Very Difficult 任务上 F1 下降（judge 对"难"不敏感，附录图 7 的解释），最需要可靠信号的地方（难任务）信号最弱。两个误杀案例（圆台体积、一元二次方程）则显示另一条误差通路：解析 subject 答案格式不鲁棒。误差至少有两个来源，论文只系统性讨论了前者。

4. verifiability–breadth 张力是结构性的，ACD 用"两头下注"绕开了它

跨域开放任务的判分只有两条路：程序化（要求任务有可执行 ground truth——数学、代码、谜题可以，创意写作不行）或 LLM-judge（什么都能判，但引入第 3 点的偏置）。ACD 的任务族设计允许 score 内部二选一——这是一种精明的折中，但张力本身没有被解决，只是被分布到了档案里（可验证任务的判分可信、开放任务的判分带偏置）。后续工作各选一边：SKATE 把评测做成可验证任务的锦标赛（彻底程序化），Google 的 Internet-benchmark 搜索选了"人工已验证的难题域"（互联网上已存在答案的材料）。截至 2026-10，"开放域 + 可靠自动判分"仍然是无解的联立方程。

5. single-turn 是选型，也是天花板

被评的是一次作答，不是长程 agent 行为（多轮、工具、环境、记忆）。任务族的 METR 标准血统其实支持 agentic 任务（METR 自己的用途），ACD 为了 5-shot 成本和判分可靠性选了 single-turn。这个选择让"能力发现"的结果形态天然偏向知识与推理，而 2026 年 frontier 的主要风险面恰恰在 agentic 行为上。ACD 框架往 agentic 扩展（archive + novelty + 判分都保留，任务族换成多轮环境）是显然的下一步，也是论文自己列的 future work。

6. 能力签名可能比能力发现本身更有长期价值

三种子 500 代的分布一致性，暗示 (scientist, subject) 对的签名是模型的稳定可测属性。如果跨版本模型签名可追踪——每次微调/对齐改动对哪些聚类产生影响——它就是模型行为变更检测的仪器。这比"发现 GPT-4o 会做什么"更接近基础设施：发现会饱和，签名不会。当然前提是第 2 点的考官依赖性问题解决（签名要锚定在 subject 上，而不是 scientist×subject 上）。

7. 惊讶是最诚实的未解决问题

论文把"惊讶"的自动化尝试原原本本写进附录（众包 37% 通过率、模型自评失准、最终人工精选 + 网络检索排除记忆）——比大多数量化 ML 论文诚实。但这暴露了一个深层问题："惊讶"是相对观察者先验的量。作者先验、众包先验、GPT-4o 先验三者不一致，意味着"什么算超出预期"本身没有共识锚点。开放式评测要真正替代人工，迟早要回答"以谁的先验为准"——这个问题在 AI-GA 文献里也没有答案。

总评

方法组合不新（archive、LLM-judge、reflection 都是现成组件），但组合的系统性和验证的完备性是新的：三轴实验 + 人类校验 + 成本核算 + 开源档案，把"FM 能不能给自己出题"从直觉问题变成了有数据的问题。它没有解决自动评测（judge 偏置、惊讶、agentic 都没解决），但把"能力发现不依赖人出题"从零做到了可信的一。按今天的标准这是扎实的增量。

One More Thing：从"发现能力"到"制造能力"

论文最后一段只有一句话轻轻带过一个可能性："ACD 可以让模型为自己生成有趣的学习挑战，potential driving self-improvement"——引用的是 OMNI-EPIC 和 AI-GAs。这半页值得展开，因为它指向的闭环比论文主体更大：

discover → train → evaluate → discover …。今天这个环的每一段都有人做：ACD 补上了 discover（问题分布的自动供给）；RLHF/自我训练补上了 train；活基准补上了 evaluate。但三段从来没有被同一套档案串起来。串起来会发生什么？Boundless Socratic Learning（Clune 组的愿景论文）的赌注是：能力增长的上限由任务分布的更新机制决定，而不是由模型或算法决定——固定基准上的自我改进是在爬一座已经选定的山，而档案驱动的任务生成是让山本身长出来。

ACD 离这个闭环差两步，都不是工程问题而是概念问题。第一，它的 novelty 判据是 "interestingly new"（相对档案新），而课程需要的是"有学习增益"（zone of proximal development：恰好够不着的任务）——两个判据会选出不同的任务，课程判据需要 subject 的训练动态信息，ACD 的 archive 没有。第二，把任务用于训练会立刻污染 novelty 的定义：档案里的任务是被"答过"的，不是被"学过"的。

有意思的地方在失败模式的档案化：ACD 对失败模式的操作化定义（族级 <60%）在训练语境下就是现成的课程信号——25 个聚类里那个 54.8% 的多步数学，就是一份"该往哪里投训练算力"的地图。论文没有做这一步（它止步于 "inform future training"），但整篇论文的基础设施——档案、签名、失败模式标注——几乎是为这个用途预制的。Clune 组自己的研究线（AI Scientist → ADAS → ACD）看起来正沿着"自动化研究的自动化"的路线铺组件：会做研究的、会设计系统的、会出题的。下一个组件大概是会把三者接起来的那个。

跨论文观察 1：开放任务供给与任务效度是两条不同轴。ACD 的档案机制缓解了人工预先列题的覆盖瓶颈，但其自动判分仍有正偏与难题效度边界；EurekaBench则把科学预测与科学洞见分开测，并指出洞见分数依赖 LLM judge 的校准。两者共同提示：持续产生新题并不自动等于测量可靠，报告应同时交代任务新颖性与评分效度。见 EurekaBench。

跨论文观察 2：从“发现题目”到“验证探索过程”，评价对象会改变。ACD 主要归档模型对单轮任务族的表现；ExplorationBench 则在可执行的合成环境中考察探针选择、证据获取与迁移，并用对照条件拆分归因。后者不能证明真实科学探索能力，但能补充 ACD 的静态能力签名无法直接覆盖的过程维度。

跨论文观察 3：执行工作任务的表现又是另一种效度。Agents' Last Exam以真实来源的工作任务和交付物评分衡量 agent 完成度，并强调任务样本代表性、rubric 效度与部署证据的限制。与 ACD 的开放式能力发现互补，但不能把两者分数直接排在同一尺度：测试目标分别是“挖掘模型会什么”与“能否交付给定工作”。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

import json, math, numpy as np
from openai import OpenAI  # pip install openai
cli = OpenAI()

def llm(sys, usr, model="gpt-4o-mini"):
    return cli.chat.completions.create(model=model, temperature=0.7,
        messages=[{"role":"system","content":sys},{"role":"user","content":usr}]
    ).choices[0].message.content

def embed(t):
    return np.array(cli.embeddings.create(
        model="text-embedding-3-small", input=t).data[0].embedding)

ARCHIVE, PROMPT = [], "出一个简短文本任务：一句话指令 + 一个标准答案，"
                     "格式 JSON {{\"task\": ..., \"answer\": ...}}。题材避开：{seen}"

for gen in range(200):                       # 200 代 demo
    seen = ", ".join(ARCHIVE[-8:]) or "（空档案，随便出）"
    raw = llm("你是出题人，追求新颖有趣。", PROMPT.format(seen=seen))
    try: t = json.loads(raw); t["q"], t["a"] = t["task"], str(t["answer"])
    except Exception: continue               # 生成不合格 → 跳过
    emb = embed(t["q"])
    if ARCHIVE and max(emb @ np.array([e for e,_ in ARCHIVE]).T) > 0.90:
        continue                             # novelty 过滤：余弦 >0.90 判旧
    resp = llm("你是被试模型，直接给最终答案。", t["q"])
    t["ok"] = resp.strip() == t["a"]         # demo 用精确匹配判分
    ARCHIVE.append((emb, t))
    print(gen, "✓" if t["ok"] else "✗", t["q"][:50])

Reference / Evidence