← 科研空间 首页
Paper Deep Read arXiv:2605.29955

Formalizing Mathematics at Scale

多智能体如何把“证明一道题”扩展为“协调一座数学代码库”

原版 PDF ↗

先讲一个故事

想象一位 Lean 工程师接手一本《代数几何》讲义:她不能只证明一个漂亮定理,而要先把书里反复使用的对象、定义、引理按依赖关系一项项建成可编译的库。她把一个目标交给模型,模型能写出貌似正确的证明,却可能把关键结论塞进 axiom,或悄悄把一般命题改成容易成立的特例。更麻烦的是,某个基础定义若被错误简化,后续一整片依赖它的定理都会被污染。

这是教学性场景,不是论文记载的个案。论文的转折点在于:不要把“让一个模型写完整本书”当任务,而把教材变成一个持续集成工程——按依赖拆成目标,隔离并行修改,评审后合并,失败后留下经验,再用独立目标评估回查。Lean kernel 检查证明步骤,但系统仍须另问:代码到底忠实表达了教材的数学吗?

故事与技术如何对应

障碍(论文事实)

数学文本有长程依赖;生成代码可能无法编译、偏离原命题、藏有 sorry/axiom 或重复犯错。

转折(论文机制)

AutoformBot 把目标组织成 DAG,以 worktree、review、merge queue 协作,并由 supervisor 与 trace analyzer 分别追踪目标质量和失败经验。

故事中的人物、书籍实例均为教学类比;DAG、Lean、评审、失败模式和指标来自论文。

先给结论

26本公开教材,覆盖多数学领域
71.3%4,007 个目标中 2,855 个通过其评测
45k+Lean declarations;约 484k 非空白代码行

这篇论文最有分量的结果,是展示“多本教材的部分形式化”可以被包装为可协作、可评估的工程流程,而不是单次证明生成。它没有证明教材已被完整形式化:没有一本达到 100%,输出质量仍低于专家代码,且评估依赖 LLM judges。相较长文档形式化先例,新增的是多书规模加上目标质量评估和仓库协调机制的组合,不宜用“首次教材形式化”概括。

原版 PDF

版本注记:阅读依据为 arXiv 2605.29955 的公开 PDF 与 TeX 源及其附录;检索日期 2026-10-23。外部引用记录可见 Reference / Evidence;本轮部分 API 查询不可用,已在评论和角色中标出边界。

研究动机

LLM 可以迅速生成数学论证,但人工审稿无法按同一速度核查;形式证明助手把“证明每一步是否有效”交给小型 kernel。难点随之变成更早的一层:研究级新定理依赖大量定义和基础结果,教材正是建立这些基础的自然单位,但一个教材不是独立定理集合,而是一座带依赖关系、约定和文件组织的代码库。

已有自动证明常以竞赛题或单定理为单位;教材级 formalization 需要模型长时运行、处理基础设施缺失、并行推进互相依赖的目标,并防止错误通过共享库传播。论文将其视作 multi-agent software engineering,而非单一模型能力榜。

核心问题

怎样以可审计的协调和质量门,把许多模型的局部形式化工作合并成一份持续可构建、且尽可能忠实于源书的数学库?

数学表示及建模

目标与依赖

把书中的定义、引理、定理抽取为 target statements:令任务图为有向无环图 $G=(V,E)$,节点 $v\in V$ 对应一个形式化目标;若 $v_j$ 依赖 $v_i$,则加入边 $(v_i,v_j)\in E$。只有其前置依赖已满足的节点可调度。另一方面,goal tracker 独立记录每个源文目标的 pending/completed/failed,避免“任务做完”被误当成“目标已忠实完成”。

通过标准不是单一编译

对一个目标 $g$,评测先要求项目编译且无特定误导性 metaprogramming;matcher 将书中命题对应到 Lean 声明;三个独立 LLM judges 分别按 faithfulness、proof integrity、code quality 0–5 打分,每项至少 3 才通过。对 sorry/axiom 还要检查声明依赖锥,而非只搜顶层文件。

$$\operatorname{pass}(g)=\operatorname{compile}(g)\land\operatorname{matched}(g)\land(s_F,s_I,s_Q\ge3).$$

成功的判定被作者定义为源陈述忠实且证明无不当占位;其非传递规则允许一个正确调用尚未通过评估的目标引理的命题自身通过,因此“声明数”不可直接等同“完整正确的数学链”。

资源度量

论文以加权 token 计量近似 API compute:regular input 1×、cache read 0.1×、cache write 1.25×、output 5×;Haiku 4.5 使用 0.1 折算。它是基于价格的近似成本量纲,不是硬件 FLOPs,也不等同跨供应商经济成本。

算法流程 / 方法

  1. Orchestrator 规划:读教材、创建并随进展重排目标 DAG,保存待办清单,分发无未满足前置依赖的任务。
  2. Worker 并行:短时代理在独立 git worktree 编写 Lean,使用 REPL/LSP、Mathlib 搜索等工具;同目标可多个 worker racing,首个过门者胜出。
  3. Reviewer 与 Merge Queue:审代码与源陈述;合格变更批量 rebase 后统一构建,失败时二分批次定位破坏性提交。
  4. 失败学习:Trace analyzer 对失败任务整理具体经验,生成供后续 worker 阅读的 task guide;任务过大时反馈 DAG 拆分建议。
  5. 目标级监督:每次合并后 supervisor 匹配受影响目标并运行评估;triage agent 为不通过目标派发修复任务。
  6. 人类检查:可通过 visualizer 查看目标完成、成本、依赖和待处理问题,并提供方向性建议。

分工关键是双层闭环:task-level analyzer 解决“下一次别重犯这个错误”,target-level supervisor 解决“最终教材命题到底是否覆盖且可靠”。论文报告,长运行 orchestrator 的上下文会退化,因此把定向分析交给新鲜、短期 agent。

实验设计

实验覆盖不等于受控比较的普适结论:消融仅在一册、39 targets 上进行;API token 成本依模型供应商而变;多书主体结果没有逐书随机对照。

实验结果

指标 论文报告 解读边界
目标覆盖 2,855 / 4,007 = 71.3% 无书完全形式化,目标抽取本身决定分母
产物规模 约 483,918 行 Lean;45k+ declarations 行数/声明数不是通过目标数或数学质量
模型消融 1,200M tokens:Opus 92%,Gemini 46% 单书、特定版本/预算;并非一般模型排名
组件消融 600M:full 77%;无 orchestrator 64%,无 supervisor 51%,无 analyzer 57% 支持组件在该测试册的贡献,不证明各组件普适最优
并行度 4 小时:3/5 workers 约 62–68%,1 worker 44% 速度收益伴随资源并发;token/时间不是同一目标

最清楚的机制证据来自消融:去掉 supervisor 后目标质量闭环缺位,表现最差;去掉 trace analyzer 则 worker 重复失败并更快耗尽预算。全系统初期并非始终领先:无 orchestrator 在约 100M tokens 前更省,但停在 64%,说明动态重规划可能在难目标上后程有用。

论文估计 pipeline 每代码行成本低于专家标注,但也承认输出质量较差;由于总成本受 API 价格和缓存权重影响,这一经济比较应视为估算,不是独立的普遍成本结论。

我的评论

贡献成立在哪里

AutoformBot 把“可编译”转为并行团队共享的协调信号;worktree 隔离、审查、批量合并、依赖图和目标追踪都是具体工程机制。其新意在端到端组合和多书评测规模,而不是某个全新的数学形式化原理。

评估的关键缝隙

Lean kernel 只能保证相对于已写下的 Lean statement 与公理前提推导有效,不能判断 Lean statement 是否等价于课本;为此依赖 LLM judges。专家对一册结果的反馈报告了显式 axioms、命题偏差、模型选择差异,以及谱论末段关键结果依赖两个公理。该证据既验证大部分工作的可用性,也提醒最难部分可能正是最易被“整体规模”掩盖的尾部。

外部新颖性与范围

公开先行记录包括 Urban、M2F 与 Automatic Textbook Formalization。基于现有公开书目信息,不能宣称本作是首次自动教材形式化;较可守的说法是其报告 26 册、统一的协调框架、目标级质量管线及消融证据组合。相对先行工作是否在全部维度上优越,仍需逐项比较代码、数据、评估预算与时间版本;本轮 API 查询受限,不做强先后断言。

审稿式结论:系统工作具有价值,但 71.3% target pass、主实验评估仍含 LLM judge、成本优势依赖估算,且跨书独立隔离限制了接入 Mathlib 的直接程度。把成果定位成可扩展的部分形式化平台是可信的;把它称作完成了“核心数学基础自动化”则证据不足。

One More Thing

这项工作的隐含单位不是“模型写了多少代码”,而是“一个源文目标在何种依赖上下文中被证明、被评判、并能否在多人并发下继续合并”。这提示后续形式化系统值得公开两张可追溯图:源书命题到 Lean 声明的语义映射图,以及声明到公理/placeholder 的依赖健康图。前者守住忠实度,后者守住证明完整性;两者比单一 pass rate 更能定位信任边界。

完整图谱

六个论文 Figure 均覆盖。源码矢量构图的三幅以可访问 HTML/SVG 示意重绘;其余图像嵌入优化后的 WebP。图注限于图本身显示内容,整体意义在正文阐释。

Informal

For all $x\in\mathbb N$, if $x<2$, then $x+3<5$.


令 $x<2$;两边加 3 得 $x+3<2+3=5$。

Lean 4(原图代码)
example (x : Nat) (h : x < 2) :
    x + 3 < 5 := by
  exact Nat.add_lt_add_right h 3
论文 Figure:一个简单不等式的非形式陈述/证明与 Lean 形式化并列。
Orchestrator 书本 → task DAG Trace analyzer 失败经验 / guide Supervisor 评估目标 / triage Workers 独立 worktrees Review Merge queue 反馈闭环:失败分析、目标评估、重规划
论文 Figure:高层 orchestrator、任务/目标级反馈角色与低层 worker/reviewer 的信息流;重绘依据论文 caption 与正文,实线箭头为简化示意。
axiom / sorry 节点 helper declaration target theorem 依赖图追踪:结构标签与缺口作为告警向上游目标传播 概念重绘;不代表具体实验中的某条声明
论文 Figure:项目本地声明依赖边与结构标签/证明缺口向目标告警传播。
AutoformBot 任务图可视化界面截图
论文 Figure:形式化任务的图视图,来自 AutoformBot 可视化界面截图。
各教材目标相对 Mathlib 基础设施缺口的难度汇总图
论文 Figure:按教材汇总各源文 statement 的形式化难度估计,难度定义为 Mathlib 中缺少所需基础设施的程度。
模型、反馈组件与并行度消融结果图
论文 Figure:Algebraic Combinatorics 39 targets 上模型比较、反馈组件消融及每任务 worker 数比较,曲线展示目标完成率随 token 成本或运行时间变化。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt,从不同责任位置审视同一篇论文。

Scientific Peer Reviewer

The paper has not been published yet and is currently submitted to a top conference where you’ve been assigned as a peer reviewer. Complete a full review of the paper answering all prompts of the official review form of the top venue in this research area (e.g., NeurIPS). This includes recommending whether to accept or reject the paper.

摘要与贡献:论文提出 AutoformBot 以多代理协作处理整本数学教材到 Lean 4 的形式化,并发布框架和 26 本教材形式化库。主要结果为 4,007 targets 中 2,855 通过(71.3%),约 484k 行代码;在 Algebraic Combinatorics 上作模型、组件与并发消融。

优点:问题重要;任务 DAG、隔离 worktree、review/merge queue、依赖感知监督与失败经验形成系统闭环;评测不止看编译,明确区分 statement faithfulness、proof integrity、code quality;报告失败方式和消融,而非只选成功样例。多书跨度使工程规模有说服力。

主要问题:(1) 质量主要由 LLM judge 判定,三路独立不等于校准可靠;专家核查仅一册,且附录披露两条显式公理和部分非忠实建模,尤其难点尾部风险高。(2) 每书独立形式化、不针对 Mathlib 系统整合,故声明总量不直接代表可复用统一库。(3) 消融局限一册小样本;模型差距很大,结果强依赖 backbone。(4) “低于专家成本”的量价折算及 token 加权受 API 定价影响,复现/比较口径需更透明。(5) 前序长文档系统已存在,需避免把贡献写成首个教材自动形式化。

评分(模拟 NeurIPS 常见维度):技术质量 3/4;呈现 3/4;重要性 3/4;原创性 2/4(系统组合有增量,长文档优先权不成立);可复现性 3/4(公开代码/产物是优势,但完整评测口径、模型调用与独立审计仍需复核)。不确定性:中等偏高,评测含 LLM judge、外部 API 本轮不可完整核验。

建议:补充多书专家抽样审计及 judge 校准,报告公理/ sorry 依赖图完整统计、失败目标分层、成本敏感性和与先行系统同口径对比;加强 Atlas 与 Mathlib 集成计划。Recommendation: Weak Reject(弱拒),置信度 0.66。若 venue 更看重系统规模与资源发布,复审后可能上调;目前可信度论证不足以支持强接收。

Archaeologist

This paper was found buried under ground in the desert. You’re an archeologist who must determine where this paper sits in the context of previous and subsequent work. Find and report on one older paper cited within the current paper that substantially influenced the current paper and one newer paper that cites this current paper.

前序影响作品:《The Lean Mathematical Library》(Mathlib Community, 2020,arXiv:1910.09336)为 AutoformBot 依赖的形式化数学基础设施。论文明确把 Mathlib 覆盖缺口作为为何需要教材基础建设的背景;声明依赖图、Lean 编译等则建立在 Lean/Mathlib 环境上。此处“影响”是基础设施层影响,不声称它提出本文的 multi-agent 设计。

后续引用作品:截至 2026-10-23,本轮尝试 Semantic Scholar API 遇 HTTP 429,arXiv API 遇 DNS 失败,未能验证任何更新论文确实引用 2605.29955。故不虚构 newer citing paper;“未能检索到”是本次检索边界,不代表绝对不存在。要补全这一要求,需稍后查询 OpenAlex/Crossref/Semantic Scholar 引用索引并核对新论文参考文献原文。

位置判断:它处于从单题 autoformalization/Lean benchmarks 向长篇数学资料库工程扩展的阶段;关键问题从“证明一题”转为“持续维护大量相互依赖声明的仓库”。先行公开工作包括 Mathlib(基础库)、Urban 的形式拓扑及 M2F / Automatic Textbook Formalization(Urban、M2F、Automatic Textbook Formalization),足以否定未经限定的“首个教材自动形式化”。

Academic Researcher

You’re a researcher who is working on a new project in this area. Propose an imaginary follow-up project not just based on the current but only possible due to the existence and success of the current paper.

提案:Mathlib Atlas Integration Commons(虚构后续项目)。只有当 AutoformBot/ATLAS 已证明数十本教材可以按目标拆解、持续构建并提供来源追溯时,才值得做跨教材融合实验:把相同数学对象/定理的不同课本表述映射到统一 Lean canonical layer,执行依赖冲突检测、重复定义合并与 provenance 保留,最终生成经 Mathlib 社区审查的可插拔模块。

研究问题:在保留每本书局部语义和来源的前提下,能否把孤立项目逐步合并而不引入错误假设?比较纯模型匹配、基于 Lean 类型/依赖的检索、专家引导三种策略。指标包含跨书重复声明识别 precision/recall、合并后通过目标率、源文忠实度盲审、维护者审查时间与依赖缺口暴露率。

为何不是一般扩展:如果只有一个定理证明 agent,缺少多库产物、标准化目标追踪与依赖评估数据,就无法研究“多个完整教材的知识如何汇合”。本作的成功提供了候选语料和工程底座,但该提案是假设性方案,不是论文已实现功能;首要风险是对象同名异义和 LLM 自动对齐造成静默语义合并。

Industry Practitioner

You work at a company or organization developing an application or product of your choice (that has not already been suggested in a prior session). Bring a convincing pitch for why you should be paid to implement the method in the paper, and discuss at least one positive and negative impact of this application.

产品提案:面向高校出版社与研究生课程的“可验证教材伴侣”:给教师提供可追溯的 Lean 版课程讲义,学生可点击每个形式命题查看其 Lean statement、证明状态、依赖与尚未覆盖的假设。投资 AutoformBot 风格流水线的理由是把内容抽取、依赖排程、增量构建、审核队列和来源链接整合,单纯购买聊天机器人无法提供同等级的版本控制与证明构建门。

正面影响:帮助学生发现推导缺口、让教材中的基础结果可机检并支持无障碍的多种学习路径;教师可以把精力放在概念解释而非重复核验。

负面影响:形式化错配可能将不忠实命题包装成“机器证明”;低资源语言/领域被忽略,导致知识覆盖不平等;若出版社用自动化替代专家校对和助教,可能损害就业并把维护负担转给学术社区。必须展示未形式化比例和来源差异,禁止将编译通过标成原文已证实。以上是拟议应用影响,不是论文已经验证的产品结果。

Hacker

You’re a hacker who needs a demo of this paper ASAP. Implement a small part or simplified version of the paper on a small dataset or toy problem. Prepare to share the core code of the algorithm to the class and demo your implementation. Do not simply download and run an existing implementation – though you are welcome to use (and give credit to) an existing implementation for “backbone” code.

演示规格(未执行):用 3 个手写目标 A、B、C,依赖 A→B、A→C;先只调度依赖已完成节点,然后模拟一次 worker 失败,trace guide 修改重试策略,再让 reviewer 检查输出包含占位词,最后以成功构建状态更新 tracker。以下是原创教学伪代码,未下载/调用现有实现,亦未声称已运行;真实 Lean kernel、模型 API、并发和 review 评估均被简化。

tasks = {"A": [], "B": ["A"], "C": ["A"]}
status = {k: "pending" for k in tasks}
lessons = {}
while any(v != "done" for v in status.values()):
    ready = [k for k, deps in tasks.items()
             if status[k] == "pending"
             and all(status[d] == "done" for d in deps)]
    for k in ready:
        status[k] = "running"
        draft = worker(k, lessons.get(k, ""))  # toy worker
        if "sorry" in draft or not build_check(draft):
            lessons[k] = "避免占位证明;先修复构建错误"
            status[k] = "pending"
        elif reviewer_accepts(draft):
            status[k] = "done"
        else:
            lessons[k] = "按 reviewer 的具体反馈重试"
            status[k] = "pending"

现场可把 build_check/reviewer_accepts 用固定规则实现,并展示 tracker 顺序 A 后 B/C;生产级复现需要 Lean 项目、源文命题到 target matcher、依赖图反查 sorryAx、隔离 worktree 与真实评审。论文未提供我此处运行结果,因此不报 demo 成功。

Private Investigator

You are a detective who needs to run a background check on one of the paper’s authors. Where have they worked? What did they study? What previous projects might have led to working on this one? What motivated them to work on this project? Feel free to contact the authors, but remember to be courteous, polite, and on-topic.

公开履历资料边界:论文作者名单及单位列出 Ahmad Rammal、Niket Patel、Fabian Gloeckle、Amaury Hayat、Julia Kempe、Remi Munos、Charles Arnal、Vivien Cabannes;署名单位为 FAIR at Meta,并列出若干作者的 ENPC、NYU、Korea Institute for Advanced Study 关联。原文注明 Gloeckle 的相关工作曾在 Meta 期间完成。公开论文及代码入口:论文页、AutoformBot 仓库。

这些公开材料不足以完整回答某作者“在哪里工作过”或“学过什么”,也不能推断个人动机。项目脉络只能谨慎描述:作者群既参与数学/机器学习研究,也在论文中利用 Lean、Mathlib、MCP 和软件协作工程;论文明确动机是 AI 数学产出增长、形式验证瓶颈与教材基础缺口。动机陈述来自论文,不等于可知作者私人心理。

隐私与行动边界:不联系作者(尽管原 prompt 邀请联系;本任务未获任何外部联系授权),不搜集私人信息,不从名字推测个人背景。此处只陈述论文公开署名和项目事实,需完整履历时应查作者自愿公开的主页/机构简介。

Social Impact Assessor

Identify how this paper self-assesses its (likely positive) impact on the world. Have any additional positive social impacts left out? What are possible negative social impacts that were overlooked or omitted?

论文自评:Broader Impact 段认为 AI 数学工具可能重塑数学职业,并希望释放数学家去做更创造性和探索性的工作。

可能的正面影响(推演而非实测):可检验教材库能够降低学习者核对形式推导的门槛;公开 provenance 和 Lean 目标或许帮助复用基础结果、发现教材错误;若模型可接入本地/不同 API 的开放工程设计,也可能扩大机构参与机会。

未充分讨论的风险:(1) LLM judge 与错误形式化会制造“机器已证明”的过度信任;错误基础定义通过依赖传播,风险并非普通勘误。(2) 模型/API 算力、语言与 Mathlib 覆盖偏差可能把资源集中于少数机构和数学分支。(3) 若以低单位成本为由压低专家、翻译者和助教投入,形式化劳动及维护责任可能被隐形化。(4) 教材授权与形式化产物再分发的许可边界应逐书核实。(5) 数学家的职业变化也可能包含工作替代与评价制度压力,并非必然是“专注创造”。这些影响是风险分析,不是该论文已测量的社会效果。

Reference / Evidence

数据数值、方法与评审反馈据焦点论文公开源文件;跨论文判断仅在链接提供范围内。未把本地路径、私有日志或外部联系信息放入公开正文。