IdeaScientist: Orchestrating Agents for Grounded Scientific Ideation

先讲一个故事

设想一位研究者接到一个棘手任务：让语言模型在长程生成时少犯错。熟悉该领域的论文给了很多局部改进，却未必提供新的机制。研究者于是像侦探一样先梳理问题的缺口，再去别的领域寻找结构相似、但解决路径不同的挑战，最后把可迁移的机制变成可检验的提案。

这是一则教学类比，不是论文记载的真实人物或实验。它呈现 IdeaScientist 的核心难点：研究想法不能只听起来新颖，还要能指出文献缺口、解释机制来源，并与相邻工作区分。

故事与技术如何对应

故事类比：研究者的「侦查—迁移—写提案」对应分阶段角色协作。
论文事实：系统把 gap finding、innovation、report writing 组织为专门子 agent，由 orchestrator 调度；检索分别覆盖同域近邻与跨域机制。
证据边界：论文以历史研究方向、自动评审与人类标注评估生成质量；这些离线代理指标支持比较，不等同于证明提案最终能带来可复现的科学发现。

74.6 IdeaScientist-Trained 综合分（Qwen3.6-27B 骨干）；最强开源 baseline DeepScientist 为 60.6，高出 14.0%

2.77M Svalbard Idea Vault 分解出的研究想法五元组：problem definition · challenge · research gap · intuition · proposal

+30.7 同域检索换成跨域机制检索后，In-domain novelty 从 36.3 升到 67.0（绝对百分点）

一句话总结：这篇论文不再把「提出研究想法」当作一次性的 prompt 输出，而是把它定义成一个有明确输入输出、有训练信号、有时间控制评估的任务，然后用多角色 agent 编排 + 阶段化 RL 把它做成了一个可以持续优化的对象。Jiarui Liu 等 19 位作者来自 CMU、Meta Reality Labs / FAIR、UIUC、Toronto、Princeton、东京大学与 RIKEN AIP。

研究动机：想法从哪里来

论文的核心直觉只有一句话：一个领域的挑战，往往可以被另一个领域里解决过类似挑战的机制所化解。 这个「远距离类比」直觉在认知科学里有长期证据，而工程上可以类比成搜索与推荐系统的两阶段结构：先有一个宽广的候选召回，再有一个精确的排序与筛选。

认知科学基础

Mednick (1962)：创造力与远距离联想（remote associates）能力相关。
Gentner (1983) 结构映射理论：类比转移的是关系结构，不是表面词汇。
Gick & Holyoak (1983)：类比迁移可以跨问题域解决问题（Duncker 辐射问题）。
Loewenstein et al. (1999)：编码式比较（encoding-aligned comparison）促进类比提取。
Uzzi et al. (2013)：顶级团队的工作组合「大部分常规 + 少量新颖引用」，类比要踩在熟悉的地基上。

为什么现在要把 ideation 拆出来

端到端 AutoResearch 系统（AI Scientist、AI Scientist-v2）已经能跑通「想法 → 实验 → 论文」，但 ideation 耦合在整个流程里，质量提升无法归因到想法生成环节。
Si, Hashimoto & Yang (ICLR 2025) 用 100+ NLP 研究者的盲评证明：LLM 生成的想法比人类专家想法更新颖，可行性略弱；但那只测了「单次生成」，ideation 还不是一个可训练的任务，且 LLM 自评不可靠。
「ideation-execution gap」（Si et al., 2026）：LLM 想法一旦真去执行，结果弱于人类想法。
已有的 RL ideation 尝试多用 proposal 级单一 rubric 奖励，信用分配弱、易被 hack，也没有把「文献检索」当成一串可检查的研究操作来训练。

本文的任务定义

输入是一个二元组 $(\text{problem definition},\ \text{challenge})$，输出是一份 grounded research proposal：包含明确的 gap、从其他问题设定借来的机制直觉、以及可区分于最近邻工作的完整研究方案。训练信号不再只靠 reference-free 的 LLM 自评，而是「回顾式」的——把人类后来真实发表的研究方向当作 held-out 目标，衡量模型提出的方向与人类实际探索方向的距离。这把「想法好坏」的监督从主观 rubric 变成了对齐真实世界后来发生的事。

方法：三角色编排 + 阶段化 RL

IdeaScientist 把 ideation 分解成 gap finding、innovation、report writing 三个可训练角色，由一个固定的 orchestrator 编排；每个角色独立训练 per-role LoRA，用异步 GRPO 做阶段内 RL。

Figure 1: IdeaScientist 系统架构图：orchestrator 分配挑战轴，paper reader 摘要，gap finder 同域检索，innovator 跨域机制检索，report writer 固定 schema 写 proposal，reviewer 反例检查 — 论文图 1：系统架构。问题定义与挑战轴进入编排循环；gap finder 负责同域近邻检索，innovator 负责跨域机制检索，report writer 产出结构化 proposal，reviewer 用近邻反例把关，orchestrator 可回访前序阶段。

角色与检索制度

Gap finder（找缺口）

给定问题定义和一条挑战轴，在域内近邻文献中检索（4–8 条查询，用该轴的精确术语），每个挑战轴阅读 3–6 篇最相关论文，每篇最多提炼 2 个方法学 gap。检索制度是「同域」的：找的是同一挑战下别人已经做过什么、还缺什么。

Innovator（借机制）

跨域检索可转移机制：发出 6–10 条查询，故意跨至少 3 个不同子领域，寻找「在别的问题设定里解决过类似挑战」的机制逻辑，得到 8–15 个候选机制直觉。检索制度是「跨域」的：新颖性来自结构映射，不是同域换皮。

Report writer（成文）

把幸存的直觉发展成完整 proposal，固定 schema 八字段：problem setting、central novelty、与最近邻工作的区分、架构/训练细节、评估计划、可证伪预测 + 反驳条件、limitations、内联文献库 ID。reviewer 在 gap-finder 检索制度下找近邻反例；orchestrator 维护演化计划，最多 100 turns，可回访任何前序阶段。

Paper reader（供弹药）

为每条挑战轴的方法论文章产出约 350 token 的结构化摘要，单轮调用、30,000 token 输入上限。它是纯粹的资料供给角色，不参与决策。orchestrator 与 reader 都不训练——动作空间窄、改进余地小。

奖励：让每个角色都被「回放」的人类历史打分

训练阶段的奖励把三种证据源做成一个 rubric 混合，再加程序性检查：

$$r = 0.85 \cdot g \cdot \frac{r_{\mathrm{free}} + r_{\mathrm{ref}} + r_{\mathrm{cit}}}{3} + 0.15 \cdot r_{\mathrm{proc}}$$

$r_{\mathrm{free}}$：reference-free rubric——不看真实论文的自由打分（论文自己也承认这类信号不可靠，只占三分之一）。
$r_{\mathrm{ref}}$：与一篇 held-out 真实人类论文方向的距离——衡量角色产物与人类后来真实探索方向的对齐程度。
$r_{\mathrm{cit}}$：与该真实论文引用集的比较——proposal 应引用与人类论文相关的文献。
$r_{\mathrm{proc}}$：程序性检查——引用的文章必须真实存在且主题相关。
$g$：分数闸门，所有 rubric 维度过阈值才计分。

Svalbard Idea Vault：4.7M 论文，2.77M 想法五元组

训练与评估的地基是一个时间分界清楚的语料库：1986 年至 2026-06-18 的 4.7M 篇论文，其中 60%（2.8M）有全文。从全文中分解出 2.77M 条五元组（problem definition, challenge, research gap, intuition, proposal）。cutoff 之后的论文通过一跳参考文献扩展接入证据库，但只在受限条件下使用。目标方向论文的筛选：从 104K 候选（有 LaTeX 源、70% 以上被引文献可用、属方法论论文）得到 14,977 篇 cutoff 后论文，其中 14.5K 训练、200 验证、277 篇 held-out 测试。角色级监督标签由 Qwen3.6-27B 生成，GPT-5.4 只补漏（gap finder +7、innovator +43、report writer +26，不足 0.2%）。

训练配置（附录 D/E）

每个角色独立训练 LoRA（rank 32，$\alpha=64$，无 dropout，作用于除输出投影外所有线性层），AdamW lr 5e-6 恒定，bf16，H100 张量并行 8。rollout 用异步 GRPO：每步 64 prompts × 8 generations = 512 条 rollout，batch 256 下做 2 次梯度更新；clip 比率区间 [0.2, 0.28]，无 KL 惩罚，最大 staleness 1，含重要性修正。每个角色用 40 节点 × 8 H100（32 policy + 8 rollout）。最终选用的 checkpoint：gap finder 380 步、innovator 310 步、report writer 194 步。

推理预算与对照

角色 / 系统	轮数上限	Token 上限
Gap finder	≤15 turns	8,192
Innovator	≤20 turns	6,144
Report writer	≤20 turns	16,384
Orchestrator	≤100 turns	—
开源 autoresearch 系统 / 通用 agent（外部对照）	原生循环，无上限	无上限

注意：外部 agent 在评估中平均使用 0.7–2.7 倍更多的 turn/token；对照的三个 IdeaScientist Base 变体（纯模型角色、无 LoRA）在相同预算下运行。对比方向上对 IdeaScientist 不利，但这也意味着编排 + 预算本身是系统设计的一部分。

实验：三个问题

评估设计成三问：Q1 系统能不能赢？Q2 哪些成分在起作用？Q3 LLM judge 可不可信？评估都在时间控制下进行：系统只能检索 cutoff 前的文献，输出与 cutoff 后 277 篇 held-out 人类论文对照。

Q1 headline

7 个开源 autoresearch 系统 × 5 个骨干 + 2 个通用 agent harness（Claude Code SDK、Codex SDK），加 IdeaScientist Base/Trained。

Q2 消融

子 agent 结构、跨域 vs 同域检索、RL 前后（held-out 角色 reward）三个成分分别拆开。

Q3 judge 审计

judge 与人类标注的相关性、judge 间共识、judge 自偏好三个角度检查评估器本身。

结果

Q1：赢了，但要看清赢在哪里

统一 judge（Qwen3.6-27B，推理模式关闭）下，IdeaScientist-Base 在全部三个开源骨干上排名第一；对同骨干最强 baseline 的领先幅度从 GPT-OSS-120B 的 3.3% 到 Qwen3.6-27B 的 12.9%。加上三角色 LoRA 后的 Trained 达到 74.6，比最强开源 baseline DeepScientist（60.6）高 14.0%，平均 novelty +1.9、平均 proposal quality +0.4。换到闭源骨干：Base 在 Claude-4.8-Opus 上 77.7，比 Claude Code SDK（68.7）高 9.0；在 GPT-5.4 上 71.9，比 Codex SDK（69.5）高 2.4。按论文贡献清单的口径，在同一开源骨干上 Trained 也分别超过两个通用 agent +5.9 和 +5.1。

最刺眼的分项是 In-domain novelty（相对同挑战既有工作的新颖度）：Claude Code SDK 只有 17.0、Codex SDK 19.9、DeepScientist 15.2，而 IdeaScientist-Base 达 67.5（Trained 70.9）——差距主要来自「想法是否真的踩在文献上」。

Figure 2a: 六个领域组的 novelty 雷达图，IdeaScientist-Trained 在 5/6 领域组上超过 Base — 论文图 2(a)：领域组 novelty（CV n=67、ML n=59、NLP n=39、其他 n=70、AI n=24、机器人 n=18）。Trained 在 6 个领域组中的 5 个上超过 Base。

但人类盲评讲了一个更复杂的故事

50 篇 held-out 论文、两位标注者的盲评成对比较：Trained 对六家 SOTA 系统（AutoResearchClaw、Dr. Claw、ResearchAgent、CycleResearcher、SciAgents、AI-Researcher）全部显著获胜，胜率 75%–92%；对 Base 胜率 57%（置信区间含 50%，不显著）；对 DeepScientist 胜率 43%——没有赢，论文原文也如实把它标为「唯一例外」。这与 judge 分数（+14.0%）方向相反，是本评估体系里最值得注意的裂缝，我在评论一节展开。

Figure 2b: 人类盲评成对胜率柱状图：六家 SOTA 全部显著获胜，Base 57% 不显著，DeepScientist 43% 未胜 — 论文图 2(b)：人类盲评成对胜率（50 篇论文 × 2 标注者）。

Q2：哪些成分在起作用

角色结构。在 report writer 之上加 gap finder + innovator，All/Cutoff novelty 最多提升 +7.7%（Qwen3.6-27B）与 +13.0%（Gemma-4-31B）——增益主要来自 novelty，质量基本持平。

Figure 3a: Qwen3.6-27B 骨干上的角色结构消融，加入 gap finder 和 innovator 后 novelty 上升 — 论文图 3(a)：Qwen3.6-27B 上的子 agent 结构消融。

Figure 3b: Gemma-4-31B 骨干上的角色结构消融，增益最大达 +13.0% — 论文图 3(b)：Gemma-4-31B 上的同一消融，增益最大 +13.0%。

跨域检索。把 innovator 的检索从同域换成跨域，In-domain novelty 从 36.3 升到 67.0（+30.7）；但 mechanism non-obviousness 只从 33.5 到 35.7（+2.2）——「机制层面不显然」是两种检索制度下都最难提升的维度，也提示 novelty 的主要增益仍来自「避开同域已知方法」这一相对容易的部分。

Figure 3c: 同域 vs 跨域检索消融，In-domain novelty +30.7，mechanism non-obviousness 仅 +2.2 — 论文图 3(c)：检索制度消融。跨域检索大幅提升 In-domain novelty，但 mechanism non-obviousness 几乎不动。

RL 真的在学。在 held-out 上的角色级 reward：gap finder 56.6 → 66.7（+10.1）、innovator 58.8 → 69.5（+10.7）、report writer 78.6 → 89.1（+10.5）。三个角色重组后增益传导到端到端 proposal 生成。

Figure 5: 三个角色的 RL 训练 reward 曲线，held-out reward 持续上升 — 论文图 5：三个角色的 RL reward 曲线（held-out 验证）。

Q3：judge 可不可信

论文对自家评估器做了三方审计。与人类的相关：两位人类标注者之间的 Pearson 相关平均 0.56；单个 judge 与人类平均评分的相关：Qwen3.6-27B 0.59、Claude-4.8 0.54、Gemma 0.51、GPT-5.4 0.49、GPT-OSS 0.42——单 judge 与人类只是弱到中等相关。共识：与「其余四个 judge 的去一共识排名」的 Spearman 相关：Claude 0.986、Qwen 0.969（两者差异不显著）、GPT-5.4 0.903、Gemma 0.902、GPT-OSS 0.720。自偏好：Qwen −0.003（可忽略）、GPT-OSS +0.079 最高。结论：单个 LLM judge 不可全信，所以评估设计成「双 judge 集成 + 集成人类检查 + 成对胜率」三层。

Figure 4a: judge 与人类标注的逐维度 Pearson 相关，人类-人类平均 0.56 — 论文图 4(a)：judge 与人类的相关性。

Figure 4b: judge 与去一共识排名的 Spearman 相关，Claude 0.986、Qwen 0.969 — 论文图 4(b)：judge 共识。

Figure 4c: judge 自偏好，Qwen 为 -0.003 可忽略 — 论文图 4(c)：judge 自偏好检查。

附加证据

预算敏感性（40 篇论文，Base）：把轮数/token 预算从低扫到高，reward 从 0.290 升到 0.465、完成率从 0.60 到 1.00、orchestrator 轮数从 34 到 55——系统会用尽给它的预算，编排深度是产出质量的主动变量。

Figure 6: 推理预算扫描，reward 0.290 到 0.465，完成率 0.60 到 1.00 — 论文图 6：推理预算扫描（test-time scaling）。

污染与泄漏：5 个模型 × 10 篇 held-out 论文的 title-only 查询（共 50 次），没有一个模型认出这些论文；对问题定义与挑战的泄漏审计为 0/50。案例研究（附录 F）把 IdeaScientist 的提案与四篇真实人类论文的核心想法并排对照：MOSAIC（组合式安全）、CoDaPO（rollout 分配）、EARS（subagent 弃权）、TABED（多模态投机解码）。

完整图谱

以下逐图收录论文中的 11 幅图；图注保持对应图表所展示的内容，不把局部可视化外推成更强结论。

我的评论

以下是我的读后判断，不是论文自述。

1. 人类 win-rate 与 judge 分数之间有一道没有弥合的裂缝

headline 是 judge 打出来的（+14.0% over DeepScientist），但人类盲评里 Trained 对 DeepScientist 的胜率只有 43%。论文如实报告了这一点（「唯一例外」），但摘要与贡献清单只引用 judge 口径。这说明「想法质量」的度量仍然高度依赖 LLM 评估器，而 Q3 自己的证据显示单 judge 与人类相关只有 0.42–0.59。50 篇 × 2 标注者的人类验证规模也不足以细分归因。

2. novelty 度量与「结构映射」判据之间有一层同构

「想法与文献的距离」这个度量由 LLM rubric 编写，而 gap finder / innovator 又是被训练去拉开这个距离的——度量与被优化对象共享同一套关于「什么算机制转移」的先验。跨域检索消融（mechanism non-obviousness 只 +2.2）恰好暴露了这一点：novelty 增益大部分来自「避开同域已知方法」，真正「机制层面不显然」的部分几乎没动。

3. 训练奖励与评估度量方向相反

训练里的 $r_{\mathrm{ref}}$ 把模型往「人类真实探索过的方向」拉，评估里的 novelty 却奖励「远离任何已知文献方法」。一个奖励收敛于历史，一个度量奖励偏离历史，两套标准同时存在时，增益归因需要更细的分解——论文没有正面处理这个张力。

4. 评估域窄、测试集小

277 篇 held-out 全部是 ML 方法论论文；title-only 污染探测是弱探测（认不出标题不等于没见过内容）。跨领域（生物、材料、医学）的回顾式监督是否同样成立，是外部效度的开放问题。

5. 但「把 ideation 变成可训练任务」这一步是真实的增量

在此之前的谱系是：端到端 demo（AI Scientist）→ 单次生成的人类对照（Si 2025）→ execution gap 的发现（2026）。这篇论文第一次让 ideation 有了可检查的中间 artifact、阶段化的训练信号、时间控制的评估，以及开源的 4.7M 证据库。无论 judge 口径的领先是否被人类完全认可，「研究想法生成」从一次性 prompt 变成可优化对象这件事本身，会被后续工作持续引用。

One More Thing：与 execution 的闭环是自然的下一步

论文刻意把 ideation 与 execution 分离（这是它的贡献），但 ideation-execution gap 的训练版——用「想法执行后的真实结果」作为 ideation 的奖励信号，而不是用「与人类历史方向的距离」——是这套框架最自然的延伸。这也正是 StudyArea 关注的 open-ended 闭环（任务生成 → 可执行性验证 → 求解 → 归档 → 持续变异）在科研自动化上的投影：Svalbard Idea Vault 已经是那个闭环里「归档」一环的雏形。

跨论文洞见：编排能力不等于自动化安全或科学有效性

IdeaScientist 把科研构想拆成多智能体协作与可训练阶段，但更强的 AI R&D 自动化也会放大控制与治理问题；系统能力提升不能自动推出安全性。相关风险讨论见 intelligence explosion。
论文的回顾式奖励借人类后来发表的方向作监督；复制研究的视角提醒我们，方向相似或评审得分都不等于结果可重复，真实复现仍需独立执行与证据核验。参见 training AI scientists replication。
IdeaScientist 评的是提案质量，而科学发现评测还需界定基准、任务与成功标准；EurekaBench 可作为比较科学发现能力评测设计的参照，而不是本论文结果的直接验证。参见 EurekaBench。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

Scientific Peer Reviewer

The paper has not been published yet and is currently submitted to a top conference where you’ve been assigned as a peer reviewer. Complete a full review of the paper answering all prompts of the official review form of the top venue in this research area (e.g., NeurIPS). This includes recommending whether to accept or reject the paper.

Summary. 论文把 research ideation 定义为独立可训练任务，贡献三角色编排框架、4.7M 论文证据库、阶段化 RL 训练与时间控制的回顾式评估。

Strengths. ①任务隔离干净，输入输出与监督信号都形式化；②回顾式监督（对齐 cutoff 后真实论文方向）绕开了 reference-free 自评的循环性；③角色级 held-out reward（+10.1/+10.7/+10.5）让训练增益可检查；④消融把跨域检索的 novelty 增益（+30.7 In-domain）归因到具体机制；⑤judge 三方审计（人相关性/共识/自偏好）与污染探测显示作者对评估器风险有自觉；⑥代码、数据、评估全部开源。

Weaknesses. ①人类盲评与 judge 分数矛盾（对 DeepScientist 胜率 43% vs judge +14.0%），headline 依赖 LLM judge；②novelty rubric 与被训练组件共享先验，mechanism non-obviousness 消融（+2.2）暴露度量循环性；③277 篇 held-out 全为 ML 方法论论文，title-only 污染探测较弱；④外部 agent 无预算上限的对照不完全公平（虽然方向对己不利）；⑤训练奖励（对齐人类历史）与评估度量（偏离文献）方向相反，未正面讨论。

Recommendation. Accept（7/10）。评估裂缝被作者如实报告而非掩盖，方法学贡献（ideation 可训练化 + 开源证据库）对社区价值明确；上述弱点属于该方向早期工作可以接受的开放问题，不构成拒稿理由。

Archaeologist

This paper was found buried under ground in the desert. You’re an archeologist who must determine where this paper sits in the context of previous and subsequent work. Find and report on one older paper cited within the current paper that substantially influenced the current paper and one newer paper that cites this current paper.

直接影响本文的旧论文：Si, Hashimoto & Yang, “Can LLMs Generate Novel Research Ideas?”（arXiv:2409.04109, ICLR 2025）。本文站在它的两个结论上：LLM 想法在盲评中比人类专家更新颖（p<0.05），以及 LLM 自评不可靠、不能作为训练信号。第一个结论证明 ideation 值得做，第二个结论逼出了本文的回顾式监督设计——用「人类后来真实发表的方向」替代 LLM 自由打分。没有那篇论文的人类对照实验，本文的任务定义就没有地基。

引用本文的新论文：本文 2026-10-02 才发布，我检索时尚无可查的引用文献。可以预测两类后续：其一，把回顾式监督推广到 ML 之外领域（生物/材料文献库）的工作；其二，把 ideation 与 execution 重新耦合、用执行结果做奖励的「ideation-execution co-training」。若一年后回看，引用网络大概率沿这两条边生长——这正是本文自己划出的边界。

Academic Researcher

You’re a researcher who is working on a new project in this area. Propose an imaginary follow-up project not just based on the current but only possible due to the existence and success of the current paper.

项目名：Outcome-Grounded Ideation。 本文证明了 ideation 可以用「与人类历史方向的距离」训练，但刻意悬置了执行。后续项目利用 Svalbard Idea Vault 的 2.77M 五元组，为每条 (gap, proposal) 配上「真实论文执行后的结果强度」（引用增长、后续工作采纳率、可复现性信号），训练一个 idea→outcome 预测器，再用它作为 ideation 的奖励——奖励信号从「方向对齐历史」变成「预测这个想法执行后会产出什么」。这个项目只有在本文成功把 ideation 隔离成可训练任务、并开源了配对的 (gap, proposal, 真实论文) 数据之后才可能成立。它同时正面回应 ideation-execution gap：不再问「想法新不新」，而是问「这个想法值不值得执行」。

Industry Practitioner

You work at a company or organization developing an application or product of your choice (that has not already been suggested in a prior session). Bring a convincing pitch for why you should be paid to implement the method in the paper, and discuss at least one positive and negative impact of this application.

Pitch：企业私有版 Idea Vault。 用公司内部报告、实验日志、专利与内部论文库复刻 Svalbard Idea Vault 的五元组分解，再部署三角色编排做「内部研究机会雷达」：每周自动产出「我们的哪个技术缺口，可以用哪个兄弟团队的既有机制解决」的结构化提案。付费理由：研究员花在机会扫描上的时间通常占研究周期的 20% 以上，而跨团队机制转移恰恰是大组织里最容易漏掉的高价值类比。正面影响：跨部门技术复用率上升，重复造轮子减少。负面影响：一旦提案雷达被当成 KPI 机器，会出现「提案通胀」——大量似是而非的跨域类比淹没真正的评审渠道，而且组织可能把 LLM 提案误当专家意见，削弱领域专家的把关权。许可与合规上，内部文献库的分发边界（CC BY-NC 数据许可只覆盖论文语料，不覆盖私有语料）也需要法务前置。

Hacker

You’re a hacker who needs a demo of this paper ASAP. Implement a small part or simplified version of the paper on a small dataset or toy problem. Prepare to share the core code of the algorithm to the class and demo your implementation. Do not simply download and run an existing implementation – though you are welcome to use (and give credit to) an existing implementation for “backbone” code.

周末 demo：百篇 mini-vault 三角色 ideation。 不碰 RL，只复刻编排与检索制度——那才是这篇论文的灵魂。步骤：①挑 100 篇某子领域论文，用任何强模型把它们分解成五元组存进 sqlite（这就是 mini Idea Vault）；②gap finder：给定一个挑战轴，用精确术语检索同域近邻 3–6 篇，每篇提炼 ≤2 个 gap；③innovator：跨 ≥3 个子领域发 6–10 条查询找可转移机制，产出 8–15 个候选直觉；④report writer：按论文的八字段 schema（含「与最近邻工作的区分」「可证伪预测」）成文；⑤reviewer 用 gap-finder 检索制度找反例。关键验证点：把 innovator 的检索从跨域换成同域，看产出的 novelty 是否肉眼可见地塌缩——这就是论文图 3(c) 的 +30.7 那个消融的家庭版。约 300 行 Python + 一个 API key。

Private Investigator

You are a detective who needs to run a background check on one of the paper’s authors. Where have they worked? What did they study? What previous projects might have led to working on this one? What motivated them to work on this project? Feel free to contact the authors, but remember to be courteous, polite, and on-topic.

背景检查：一作 Jiarui Liu（Carnegie Mellon University，本文工作为其在 Meta 实习期间完成）。 论文自述的直接前史是他此前的两个系统：DE-FENSE 与 Robustness（论文中以 “our prior systems” 引用）——都属于安全/鲁棒性方向的 LLM agent 检索式研究系统，核心都是「把研究问题拆成可检索、可验证的操作序列」。从那两个系统到 IdeaScientist 的轨迹很连贯：把「检索式研究自动化」从安全审计推广到通用科研 ideation。动机线索也写在论文第一段：端到端 AutoResearch 系统的 ideation 环节无法归因，而他在 DE-FENSE/Robustness 里已经练过「中间 artifact 可检查」的工程习惯，这次把它用在了想法生成上。合作方阵容（Meta Reality Labs / FAIR 的 Xin Luna Dong、Mona T. Diab、Wen-tau Yih 等 19 人、7 家机构）说明这是工业界实验室主导、学界一作执行的组合——这类组合通常有明确的「开源数据 + 评估协议占位」动机，与本文把 Svalbard Idea Vault 当作一等公民发布的做法一致。以上仅基于论文内证据与公开仓库，未联系本人。

Social Impact Assessor

Identify how this paper self-assesses its (likely positive) impact on the world. Have any additional positive social impacts left out? What are possible negative social impacts that were overlooked or omitted?

论文自评的正面影响：加速科学想法探索、把 ideation 从闭源系统变成开源可复现的研究对象、降低进入前沿研究的文献门槛。

被漏掉的正面影响：①回顾式监督 + 时间控制评估为「AI 科研产出」提供了防作弊的评估协议，对整个 AI4Science 社区有溢出价值；②五元组分解让 4.7M 论文变成结构化「想法考古层」，教育用途（教学生看 gap 怎么被发现）可能超过生成用途；③对小社区/低资源机构，检索式 ideation 是文献访问不平等的部分补偿。

被忽略的负面影响：①novelty 刷分一旦规模化，学术交流会被「表面新颖」的提案淹没，评审系统过载；②LLM 提案与人类偏好的裂缝（43% win-rate）在无人监督部署时会被放大成系统性误导；③训练语料的作者群体偏差（arXiv + ML 中心）会被「回顾式对齐」固化为「什么算好研究」的隐式标准；④跨域转移的提案若未经领域专家验证就进入实验室 pipeline，可能产生看似有理、实则不可执行的研究债务。论文对 ①–④ 均无讨论。

Reference / Evidence

IdeaScientist 原文
arXiv:2610.04074 · 原版 PDF · AlphaXiv 讨论页（2026-10-02 发布，2026-10-12 检索）

代码与数据
github.com/jiarui-liu/IdeaScientist · Svalbard Idea Vault 数据集（HuggingFace）

Si, Hashimoto & Yang (ICLR 2025)
Can LLMs Generate Novel Research Ideas?——100+ NLP 研究者盲评，LLM 想法更新颖但自评不可靠

Si et al. (2026)
The Ideation-Execution Gap——LLM 想法执行后结果弱于人类想法

Lu et al. (2024) / Yamada et al. (2025)
The AI Scientist · The AI Scientist-v2——端到端 AutoResearch 前作

认知科学类比文献
Mednick (1962) · Gentner (1983) 结构映射 · Gick & Holyoak (1983) · Loewenstein et al. (1999) · Uzzi et al. (2013)，均经本文引用转述

本页所有数字均核对自 arXiv:2610.04074 原文（正文与附录）；外部对照论文的定位经 arXiv 页面核验。检索于 2026-10-12 进行。