What if automating AI R&D triggers an intelligence explosion?

先讲一个故事

这不是关于未来的假设，而是关于 2026 年正在发生的现实。

走进任何一家前沿 AI 公司的工程楼层，你会发现一件在一年前还不可想象的事：大部分被合并进生产代码库的代码，是由 AI 系统写的。Anthropic 在 2026 年中的报告里给出了一组数字——AI 系统在已批准代码中所占的份额，从 2025 年 1 月的低个位数，涨到了 2026 年 5 月的 80% 以上；而在"仅需高层人类监督即可自主完成"的研发工作占比上，从 2026 年 3 月的 1% 涨到了 8 月的 26%。OpenAI 说"代码执行型 agent 被用于训练、评估和保护未来的模型"；Google 说"几乎所有写代码、写配置、做技术设计、做研究构思的工作都在用 AI"。

故事的主角不是某个模型，而是整条 AI 研发流水线本身。当这条流水线的越来越多环节被 AI 接管，一个一直停留在理论里的老问题突然变得很现实：如果 AI 能替自己做越来越多的 AI 研究，进步的速度会不会从"稳定但快速"变成"指数式爆炸"——把原本要花好几年的进展压缩到几个月甚至更短？

这篇论文要回答的，正是这个转折点。它不是在预言爆炸一定会发生，而是在说：初步证据表明它可能发生，而赌注大到我们不能再把它当成科幻来对待。

故事与技术如何对应

"AI 写代码"是 2026 年的源事实（Anthropic/OpenAI/Google 公开报告），不是类比。"反馈环""摩擦""r"是论文给出的分析框架。把这两者扣起来的关键判断——"初步证据表明 software-driven 智能爆炸是可能的"——是本文的核心论断，需要证据来支撑，下面各节逐一展开。

先给结论

研究动机

智能爆炸（intelligence explosion）的想法并不新——1965 年 I. J. Good 就提出"超智能机器能设计更好的机器"。Bostrom 在 2014 年《Superintelligence》里把它形式化为 takeoff 速度问题，Yudkowsky 主张硬起飞（FOOM）。但长期以来，这是一个speculative 的未来学问题：它会不会发生、什么时候、多快，都没有太多硬证据。

这篇论文的动机是：2026 年的证据已经足以让我们把它从"未来学"重新归类为"紧迫的当下政策问题"。理由有三：

• 趋势已经到位：METR 的"时间跨度"指标显示 AI 能自主完成的任务长度在指数增长，2024 年后翻倍加速到约每 3–4 个月一次；前沿实验室真实代码自动化已到 80%+。AI 正在快速逼近"能自己做 AI 研发"。
• 反馈环可以闭合：软件改进能几乎即时地重新部署回研发流程，形成递归自改进；而硬件改进要靠数年的制造周期。所以论文聚焦 software-driven 路径——它最快。
• 赌注极高且窗口窄：如果爆炸发生，它可能是人类历史上影响最深远的科技发展；而一旦开始，常规的政策制定节奏根本追不上，所以准备必须提前做。

数学表示及建模

论文把 software-driven 智能爆炸的核心放在一个量上：研发投入回报率 \(r\)（returns to research effort）。它刻画"增加研发劳动力能带来多快的进步"。作者采用宏观创新经济学的常用形式：

其中 \(A\) 是软件质量（综合效率改进与能力改进），\(E\) 是有效研发劳动力，\(\lambda\) 是研发劳动的规模回报，\(\beta\) 是发现新想法的递增/递减回报。在完全自动化假设下，作者论证两种主要情形都给出 \(E = kA\)（\(k>0\)）：若改进主要来自推理算力效率，效率越高→能跑的自动研究者越多；若主要来自训练算力效率，在"能力增益线性映射为有效研究者数"的假设下也一样。代入得：

要让进步的增长率 \((1/A)\,dA/dt\) 随 \(A\) 增长而上升，需要 \(\lambda > \beta\)，即 \(r > 1\)。\(r<1\) 时收益递减压倒劳动力增长，进步放缓；\(r=1\) 时两者抵消、匀速前进；\(r>1\) 时劳动力增长取胜、加速。

这是把 takeoff 从"会不会"变成"多快"的关键量化。但 \(A\) 如何同时权衡效率与能力改进尚不清楚；\(r\) 的估计来自算力快速扩张期，软件进步与算力扩张相混淆，可能被高估；模型在大规模劳动投入下是否外推成立也存疑。这些不确定性在证据节和评论节再展开。

算法流程 / 方法：机制与摩擦

两步机制

(1) 劳动力扩张：新一代 AI 在越来越广的研发任务上比人类更快更好，等价于一支更大、更聪明、更快的自动研发劳动力。当前单个前沿开发者的算力，在专家级能力下可支撑数百万量级顶级人类研究者等效的劳动力（见补充材料估算：OpenAI 推理算力日产约 \(10^{13}\) token，按每研究者-日 \(5\times10^{5}\) token 估，约 \(2\times10^{7}\) 研究者，不确定性约一个量级，故 \(2\times10^{6}\)–\(2\times10^{8}\)）。(2) 递归反馈：这支劳动力又造出更强的后继系统，进一步扩张劳动力，形成能持续复利加速的反馈环。论文强调它与"更好的芯片驱动更好的芯片设计工具"这类历史反馈环的区别在于：AI 替代的是研发任务里越来越大的份额，全自动化下即便保持当前效率改进节奏，自动研发劳动力也在数月到数年间增长约 100 倍（cottier et al. 的 LLM 成本下降证据），而美国研究者总人口增长同样倍数花了七十年。

五类摩擦

机制之上压着五类可能拖慢爆炸的摩擦：

证据与分析设计（本文无实验）

这是一篇 Science 风格的 perspective，没有自己的实验。它的"方法"是一种证据审查：先把"software-driven 智能爆炸是否可能"分解成"机制能否成立"和"五类摩擦能否被克服"两个子问题，再对每一类摩擦逐一评估现有证据的状态（支持 / 混合 / 反对 / 缺数据）。补充材料里另给出两件支撑性分析：(1) 用 token 产能估有效 AI 劳动力规模；(2) 在完全自动化假设下把反馈环写成 ODE，导出 \(r>1\) 的加速条件并代入 Ho et al. 的参数算时间尺度。

证据结果：五类摩擦逐一评估

论文对每类摩擦的结论都是"初步 / 混合 / 缺数据"三档之一，没有一档是"已克服"。下面按摩擦给出证据与其来源（多数为他人的实证或建模工作）。

① 收益递减 — 倾向"可以被克服"

核心量是 \(r\)。Ho et al. (2025) 用三个 AI 子领域的历史数据得到 \(r\) 的中心估计在 1.2 到 1.9 之间，90% 可信区间分别为 (0.727, 2.094)、(0.380, 2.708)、(1.069, 3.212)——区间宽且有一个下界低于 1。若 \(r\) 维持在这些水平且无新瓶颈，进步率约 1.5 年提高 10 倍（一年进步压缩到约五周）。但这是在"完全自动化后"且"算力库存大致恒定"前提下的外推，依赖有限数据与程式化建模假设。

② 算力 — 混合，可能是最弱一环

跑研发实验需要算力。Whitfill et al. (2025) 的分析显示：若实验所需算力随前沿训练规模成比例增长，则 software-driven 爆炸不可能（算法效率改进会同时让研发和训练变便宜，不能单独解开这个结）。问题在于"实验算力是否真的这样增长"目前不清楚：一方面，小算力实验可能告诉不了我们在前沿规模上什么有效；另一方面，从很小尺度外推本来就可行（Kaplan 2020、Hoffmann 2022），更好的外推或许能靠更多研发找到。论文坦承"我们需要更多数据来解决这个问题"。

③ 数据 — 领域差异大

互联网数据增长太慢，到 2028 后不足以支撑当前进步率（Villalobos et al. 2024）；人类也难以为超人类系统生成有用示范。但近期在数学、编码等领域，进步靠的是合成数据 + 可验证反馈：模型自己生成尝试、从成功与否学习（DeepSeek）。关键问题是这种范式能推广多广。对 AI 研发本身，agent 可以快速测试改动、观察结果、识别哪些加速自身进步；但在生物等领域，反馈更慢、更噪、更贵。

④ 难自动化任务 — 间接证据

Davidson et al. (2026) 在同时考虑软件和硬件的设定下，给出"若软硬两域研发自动化都足够快，即便存在自动化瓶颈，原则上仍可触发智能爆炸"的条件（自动研发劳动等量在有限时间内趋于无穷）。但缺乏经验数据说明哪些任务会长期难自动化、又会多强地约束进步。

⑤ 耗时过程 — 缺直接证据

最显著的是训练 run，当前可达 3 个月以上（Emberson et al. 2025）。潜在缓解：post-training 持续增强同一模型（Davidson 2023）、训练效率改进如 AlphaEvolve（Novikov 2025）让系统用更少训练达到给定能力。但能走多远不清楚。

社会影响：拉前收益 vs. 三类极端风险

智能爆炸会带来 (1) 极快地开发出高度能力或超人类系统，并 (2) 很可能把这些系统部署去开发新技术、在世界中行动。这可能把当前 AI 进度最终会带来的好处提前数年到数十年——包括医学疗法，以及原子级制造这类变革性技术。

但同时，它会通过三条路径显著放大先进 AI 的风险：

风险一：能力增长跑赢社会的驾驭与适应能力

爆炸会把先进 AI 与 AI 赋能技术的风险（生物与网络攻击、劳动力冲击、对 AI 系统本身的失控）大幅提前，留给人类转向、协调、放弃某些能力/技术的时间更少。一个关键不对称：在纯数字领域（如网络攻防），风险与缓解都能以 AI 速度推进、彼此跟得上；但在依赖现实活动的领域，缓解比风险更难被 AI 加速。例如 AI 能同时加速病毒与疫苗的设计，但病毒能自我复制扩散，疫苗却要逐个制造、分发、接种；能力到达的先后顺序（如生物能力模型先于足够的防滥用 safeguards）会恶化这种错配。

风险二：监督与控制权的丧失

自动化 AI 研发会削弱人类监督：人越少介入，既失去发现和修复问题的机会，也失去相应专长。用 AI 做监督本身仍是未解难题，且新一代系统更难监督。论文举了一个具体事件作为警示——

风险三：权力制衡的侵蚀

国家内、国家间、公司间、政府分支间的制衡，只在"没有任何一方能压倒性地比其他方想得更深、执行得更快"时才有效。智能爆炸可能让这种制衡失效：一国可把军事研发或行动上的小幅领先变成决定性优势（如网络空间）；这会激励对手先发制人或威胁先发制人；有特权或秘密接触前沿系统者可威胁现有制度（如定向说服关键决策者）；长期看，自动化关键国家职能会降低夺权或固权所需的人类配合。

不确定性与对冲

这些影响是不确定的。AI 可能在狭窄领域（网络、数学）远早于通用领域达到超人类，给社会更多反应时间；即便通用超人类，科学实验、专用材料供应链、监管合规仍需时间，可能不会显著加速整体技术进步；AI 也可能加速安全研发与适应手段；能力扩散有助于维持制衡；防御主导领域的能力增益甚至可能改善稳定性。但严重影响的可能性仍足够大，值得对下面的政策问题给予紧迫关注。

政策含义：可见性、约束与引导、适应

论文的政策核心是一句话：因为爆炸中的进步会跑赢常规政策制定，所有准备必须提前做好，并随证据出现而激活。三段如下。

① 获得对 AI 研发自动化的可见性

决策者需要关于"软件驱动智能爆炸"的可能性、起点与后果的更多数据，而这些数据大多只存在于正在自动化的公司内部——相关系统最先内部使用，大量自动化可能在外部不可见时发生。现有强制报告框架（加州 SB53、欧盟 AI Act、纽约等）要么未充分覆盖内部 AI 研发使用，要么未规定要报告的指标。论文建议：

• 要求向政府和第三方审计标准化报告关键 AI 研发指标与流程，并资助第三方测量能力（Chan et al. 2026）。报告内容应覆盖：评估爆炸可能性（算力/数据/难自动化/耗时过程在多大程度上是瓶颈、更准的 \(r\) 估计）、检测爆炸起点（自动化程度、算法效率改进节奏）、理解监督与失控风险（扩大内部部署的决策流程、高风险研发决策中的使用方式、监督方式、事故报告）。
• 考虑更广泛手段：要求独立第三方（认证审计机构、政府评估机构）在内部部署前评估系统，或嵌入公司审计/监督研发活动（参照核管理委员会 NRC、货币监理署 OCC）。
• 更强要求应聚焦于系统处于 AI 研发能力前沿、或超过某能力阈值的公司；阈值需权衡。

② 约束与引导智能爆炸

爆炸会涉及一系列前所未有地快的"训练并部署更强系统"的决策。论文把治理问题分成三部分：

• 节奏与规模约束：设继续部署/开发条件（充分安全措施、更广泛利益相关方输入、单位时间内能力增长上限）；准备验证未来（国内或国际）限速协议合规性的工具；加强对自动化研发数据中心的监督与事故响应（含暂停特定工作负载的选项）；要求某些评估/部署在隔离环境（气隙网络）中进行，防权重外泄、防系统脱逃。
• 方向引导：决定是否及如何引导 AI 发展方向（Korinek 2026），优先对齐与安全研发以及有益应用（如被忽视疾病的治疗）；若现有激励不足，可用税收激励、算力分配、预先市场承诺、奖金等手段。
• 降低冲突风险：建立信任措施（事故共享、早期预警指标报告规范）；谈判国际协议防止不稳定开发与使用，资助验证方法研究；明确是否及如何威慑他方的扩速（可能与他国协作）；运行兵棋推演模拟智能爆炸。

③ 适应智能爆炸

若爆炸发生，适应其冲击会成为每个主要大国的头等大事。关键干预：

• 加速制度响应：发展把 AI 安全整合进政策流程以增强政府运作的方法（Vaintrob 2025）；为极端 AI 进度的多种场景（重大劳动力冲击、地缘不稳、失控）制定并维护应急响应计划。
• 维护权力制衡、防御滥用：法律/制度/物理保障建立需数年，若等能力到位才开始就来不及。确保政府用 AI 时尊重法律与规范限制（采购 AI 工具加强政府分支间制衡、公开关键政府 AI 系统信息如模型规格、要求 AI 系统守法）；确保公民与公民社会有能力检测、记录、质疑非法或有害的 AI 使用；资助更好的生物威胁医疗对策。

我的评论

以审稿人立场看，这篇论文的增量边界要分清：它的概念不新（智能爆炸、递归自改进、takeoff 速度来自 Good 1965、Bostrom 2014、Yudkowsky 2013）；它的实证大多是别人的（METR 趋势、Ho 的 \(r\) 估计、Davidson 的 takeoff 条件、cottier 的成本下降、Villalobos 的数据枯竭）。它的真实贡献是把这套老概念用 2026 年实证重新校准成"初步证据表明可能"的温和论断，并翻译成一份面向政府的结构化政策菜单——由 Hinton/Bengio/Horvitz/Clune/Mindermann 等顶级安全与政策学者联署，承担"权威联盟向决策者发出紧迫信号"的功能。对一篇 perspective 而言这是合理增量，但不应被读作"证明了爆炸会发生"。

证据链条最薄弱处

• 算力瓶颈是真正的软肋。论文自己承认：若实验算力随训练规模成比例增长，软件驱动爆炸就不可能，而"是否如此"目前无人知道。这一环未定，整条"可能"链就无法升级。在把"高赌注"作为政策行动依据时，应更突出这个关键不确定性，而不是把它和其他四类摩擦并列陈述。
• \(r\) 的估计被算力扩张混淆。Ho 的 \(r\) 来自算力快速扩张期，软件进步与算力增长同时发生，把进步归给软件可能高估 \(r\)；且 transformer 这类架构是规模依赖的（小算力收益小、大算力收益大）。在"固定/缓增算力"的制度场景下，真实 \(r\) 可能低于历史估计——而这恰恰是政策想制造的情景。论文在补充材料里诚实地讨论了这一点，但正文对"我们想约束的情景可能正是 \(r\) 更低的情景"着墨不足。
• \(A\) 的定义未决。软件质量如何同时权衡推理效率与训练效率、效率与能力，论文说"目前不清楚"。而整个加速判断都建立在 \(E=kA\) 的线性映射上，这个映射在能力改进主导时是"潜在可质疑的假设"。

优点

• 诚实的对冲：始终用"初步证据""可能""不确定"，没有把 speculative 包装成确定；五类摩擦逐一标注证据状态，是负责任的证据审查姿态。
• 政策可操作性强：三段菜单下每条都给出具体抓手（强制报告指标、第三方审计、气隙隔离、数据中心暂停选项、兵棋推演），不是空泛呼吁。
• 作者构成的信号价值：把 Hinton（离开 Google 公开警告 AI 风险）、Bengio（长期安全倡导）、Horvitz（AAAC 主席）等放在一起，本身就是在向政策界传递"这不再是边缘未来学"的信号。

局限

• 政策可行性假设了它想证明存在的能力。整套菜单预设政府在 1–2 年内能建立强制报告、第三方审计、国际协议、兵棋推演等能力；但论文同时论证"制度响应追不上爆炸"——那么凭什么相信这些制度能在爆炸前就位？这是论证里最大的张力。
• 对"监管捕获/权力滥用"的处理偏轻。虽然提了一句"设计不当可能让政府只放行受青睐公司"，但面对如此强的前置监管权力，对滥用路径的展开远不如对 AI 风险的展开充分。
• 几乎未触及非西方/发展中国家的视角。可见性与约束框架主要从前沿公司所在国的治理出发，对能力扩散、全球不平等、技术主权等议题着墨很少。

综合看：这是一篇信号价值与政策操作价值都很高、但实证增量有限、且在可行性上存在内在张力的立场文。它的正确读法是"一群最了解情况的人在说：现在就该认真准备"，而不是"智能爆炸已被科学证明即将到来"。

One More Thing

论文明确把范围限定在 software-driven 路径，理由是软件改进的反馈环最快。但它在结论里点了一句值得放大看的限制：AI 驱动的硬件改进可能让爆炸更可能，而不是被软件路径取代。AI 已经在辅助芯片设计（Goldie 2024），也可能加速机器人来自动化芯片生产流程。硬件路径的反馈环虽因制造周期而更慢，但它和软件路径叠加——软件扩张的自动劳动力会同时去啃硬件研发，硬件改进又反过来扩大算力库存、缓解算力瓶颈（正是上面证据节里最弱的一环）。换句话说，论文为了分析清晰而单拎出来的 software-driven 路径，在现实里很可能不是"或"而是"且"：软件先起爆、硬件随后跟上并续命。这让"算力是否会瓶颈爆炸"这个问题更难乐观——因为算力本身也在被爆炸加速扩张。这是一个论文点到但未展开、却可能改变时间尺度判断的关键耦合。

跨论文洞见：把能力增长拆成可检验的反馈环

• 自我改进不等于闭环已经成立。 本文聚焦研发自动化、但把增长率、算力与制度摩擦列为关键条件；同系列 Training AI Scientists replication 将重点落在复现“AI 科学家”能力主张上。两者合看，能力展示与可重复的研发闭环是不同证据层级；前者不能单独证明 AI 已能持续提升自身研发效率。
• 开放式搜索展示的是局部发现，不是自动化研发的普遍速率。 AI Finds a Way 与 OMNI-EPIC 可帮助比较开放式探索系统如何产生新解；但在任务域、评估器和搜索预算限定下的发现，不等同于跨领域的研究生产率指数增长。把这种局部搜索能力外推到“智能爆炸”仍是待检验假设。
• 进化式编码代理补充了工程迭代层，仍须区分“代码变好”与“AI 研发能力增长”。 Evolutionary Coding Agents Evolve 所代表的自动变异—测试—选择循环，可与本文讨论的软件反馈机制对照；若要支持更强的增长叙事，还需证明改进能迁移至模型训练、研究决策与资源扩张，并排除人类筛选及算力投入等替代解释。上述跨论文比较是机制层面的综合，不是本文已实证证明的结论。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

import numpy as np

def growth_rate_multiplier(lam, beta):
    # 论文：A 每翻一番，增长率乘以 2^(lambda-beta)
    return 2 ** (lam - beta)

def time_to_10x(lam, beta, doubling_months=4.5, target=10.0):
    # 论文：要增长率提高 target 倍，A 需翻 log2(target)/(lambda-beta) 次
    expo = lam - beta
    if expo <= 1e-9:
        return float("inf")          # r<=1 时不加速
    n_doublings = np.log2(target) / expo
    # 几何级数：第 k 次翻番用时 doubling_months * (0.76)^(k-1)
    ratio = 0.5 ** expo              # = (1/2)^(lambda-beta)
    total = doubling_months * (1 - ratio ** np.ceil(n_doublings)) / (1 - ratio)
    return total, n_doublings

# Ho et al. 三个子领域的中心 (lambda, beta)
cases = {"sub1": (1.40, 1.01), "sub2": (1.20, 1.0), "sub3": (1.90, 1.0)}
for name, (lam, beta) in cases.items():
    mul = growth_rate_multiplier(lam, beta)
    months, n = time_to_10x(lam, beta)
    r = lam / beta
    print(f"{name}: r={r:.2f}  每翻番x{mul:.2f}  翻{n:.1f}次  10x≈{months:.1f}月")
# 验证论文主结论：平均 (1.40,1.01) -> 约 17 个月(1.5 年)

Reference / Evidence

本页公开页面仅列公开在线链接；不含本地路径、私有 TeX 文件名或未公开日志。