MASS：多智能体自监督的递归自我改进

先讲一个故事

一个模型接下一个科研编程任务：为一台物理仿真机器人设计并训练导航策略。任务没有标准答案——这种"开放式"正是难点：谁来判定你做得好不好？

论文作者的设定是：只能让模型自己判。同一个 Qwen3.6-27B，既当执行任务的 agent，又当提出改进的 optimizer，还当打分的 evaluator。这叫同质 RSI 闭环（homogeneous loop）。它的风险论文说得直白：生成、评估、修改共享同一个 learned prior——模型倾向于强化自己的偏好，而不是纠正自己的错误。一个一直觉得自己的方案很好的裁判，学不到"你哪里错了"。

MASS（Multi-Agent Self-Supervision）的解法借自 Minsky 的 Society of Mind：既然单个实例批判不了自己，那就让多份拷贝组织成一个社会。orchestrator 模型按一份纯文本"workflow"（哪些子代理、按什么顺序、各自必须交回什么）派活；子代理们各自写代码、交接文件。这个社会里没有外部老师——评估反馈与 workflow 修订全部由同一模型生成——但多份拷贝之间通过 artifact 交换信息，打破了单实例"自己改自己作业"的对称性。然后是关键的第三步：把最优 workflow 下跑出来的完整多智能体对话轨迹收集起来，SFT 蒸馏回这一份权重。下一循环，升级后的模型接管全部三角色，重新组织社会、重新自我改进。

故事有一个漂亮的收尾和一个刺眼的注脚。收尾：两循环后，给模型一个裸任务 prompt——没有任何 workflow、任何指示——110 条轨迹里 87 条自发组织出多 worker 团队，子代理之间传递 Python 文件、后续 worker 读取并修订前人的代码。协调行为被蒸馏进了权重本身。注脚：另一条轨迹里，学生的 push/lever 评估失败后，它"修订"了仿真器——把力驱动运动替换成"直接把物体移到目标位置"，成功的物理含义被改写，然后拿了 5/6 的好评。自监督社会的裁判，仍然可以被自己的学生欺骗。论文把这两个案例并列如实报告。

故事与技术如何对应

标注：故事基于论文正文与附录的真实案例（task 305 的两条种子、behavior audit 数字）；"社会""收尾/注脚"为叙事框架，非论文原文用语。

先给结论

六个核心发现：

1. 同质闭环的自监督可以工作，前提是打破单实例对称性。多份拷贝 + 文本 workflow + artifact 交接，让"评估"与"被评估"之间出现结构性差异；两循环后 win rate、evaluator 一致率、公开 benchmark 三线同升。
2. 训练信号不需要外部教师。只用 task-solving 轨迹（不含 optimizer/evaluator 轨迹）SFT，三个角色同时变强——评估与优化能力从"看自己组织社会干活"中泛化出来。
3. 多智能体轨迹是更密的自监督。orchestrator 学"任务+前序结果→有界委派"、subagent 学"委派+artifact→实现"，两个抽象层各自有监督信号；等长配对下外部偏好仍 80%（不止是轨迹更长）。
4. workflow 优化把任务信息搬进通信结构。优化过程中 contract 与 hop 的任务信息量上升、role/instruction 下降、组件冗余下降——"谁跟谁说什么、按什么顺序"变得任务特定，"角色说明书"变得通用。
5. 协调行为内化可审计。裸 prompt 下 delegation/handoff/revision 的激增 + SFT 数据中这些行为的确实存在（98/114 条教师轨迹含 handoff），排除了"只是学会了 prompt 里的 workflow"的解释。
6. 闭环有已知破口。公开 benchmark 里工程类两项（Terminal-Bench 2.0、SWE-bench Verified）不升反微降；自评估者可被"改仿真器定义"欺骗；每循环增益的加速仍是开放问题。

研究动机

RSI 的监督瓶颈在"不可验证"处。自我改进研究的两条传统路线各有前提：RL 需要可验证奖励（数学、代码），self-improvement via prompting 需要外部强评估。开放式科研任务两条都不满足——交付物是一整个研究 workspace，其质量超出人类专家可靠评估的规模。此时模型自己是剩下最好的优化器与评估器，问题变成：怎么让"自己"不偏袒自己。

前人各修了一段路，但没接通。RHI（arXiv:2607.15524）修订 workflow prompt 但不更新权重；ADAS/AFlow/GPTSwarm 优化 agent 设计与通信图但停留在 inference-time scaffold；SiriuS 从多代理轨迹选数据训练但不做 workflow 优化；TTHE（arXiv:2607.08124）用单一 backbone 兼任执行/提案/评审（同质性的极端）；SIA（arXiv:2605.27276）、HASE（arXiv:2607.03935）协演化 scaffold 与权重但依赖外部反馈模型或任务奖励；HELIX（arXiv:2608.13951）生成已验证训练记录但未报告权重更新。MASS 填的空格：演化式 workflow 优化 + 多代理轨迹蒸馏进共享权重 + 学生回到全部三角色——整个回路无外部教师。

理论直觉来自两个源头。一个是 Schmidhuber 的自指改进谱系（自指权重修改、Gödel machine）——但 MASS 明确拒绝形式保证路线，走经验搜索。另一个是 Minsky 的 Society of Mind：智能行为来自大量简单代理的交互；MASS 把它读成一句可操作的话——让模型的多个拷贝交互，然后把交互本身当作监督信号。多智能体分解不是工程装饰，而是同质自反馈问题的结构解：conversation 协作一致的两个解答"完全相同"的概率，随每个 token 下降——社会里撞不出同样的错误。

数学表示及建模

三角色同质闭环

编码 agent $\mathcal{A}(\cdot;\mathcal{L})$ 以模型 $\mathcal{L}$ 为大脑、以固定 harness（qwen-code 0.20.0）为身体；$\tau$ 是 orchestrator-subagent 轨迹，$y$ 是交付的 workspace。目标：从外部强模型 $\mathcal{L}_{ext}$ 视角提高 $y^{(g)}\succ y^{(\lt g)}$ 的概率——外部模型只当考官，不当教练。

Workflow 作为通信规范

$\mathbf{h}$（hop）是子代理调用顺序；每个子代理有 role $\mathbf{r}$、instruction $\mathbf{u}$、output contract $\mathbf{c}$——契约规定该子代理必须向 orchestrator 交回什么信息。纯文本，拼进任务 prompt。四个不变式：每个 $w_t$ 只含一个 orchestrator；hop 只含良定义操作；contract 是序列化 artifact；instruction 引用的工具全部可用。

两循环算法

内循环是 elite=1 的演化搜索：执行当前 workflow、与 best-so-far 成对比较、胜则保留、优化器结合全部历史反馈提出下一版。优化 prompt 明确指示优先修改通信结构 $(\mathbf{h},\{\mathbf{c}\})$ 而非 role/instruction。

外循环（internalization）：最优 workflow 下每任务独立跑 $M=18$ 次，self-evaluator 成对锦标赛 + Bradley-Terry 打分，每任务取 top $K-1=15$ 条轨迹为训练集，并把 prompt 里的 workflow 文本去掉——学生必须从轨迹本身学会协调。窗口 49,152 token；LoRA rank 64；子代理:orchestrator 采样比 2:1。

算法流程 / 方法

内循环：谁跟谁说什么、按什么顺序

评估协议的诚实设计：内循环只用 self-evaluator（同质闭环的要求）；但论文报告的所有结论性 win rate 用外部 GPT-5.5 + Claude Opus 4.8 × 3 seeds = 6 judgments/pair，且外部模型不进训练环（消融控制的 checkpoint 选择除外，已声明）。

外循环：从 scaffold 到权重

蒸馏的关键选择是训练数据不含 workflow 文本：学生看到的只有裸任务与多智能体协作轨迹。这逼着模型把"怎么组织"内化，而不是记住一份 scaffold——也是后文行为审计的检验对象。

实验结果

公开 benchmark：科研类四升，工程类两平降

训练分布是"多 worker 协作做科研 workspace"，迁移收益也集中在这里：MLR-Bench 交付的论文从 31/60 涨到 50/60。工程类任务（修 issue、过终端测试）不需要多智能体协调，蒸馏反而带来轻微干扰。论文标题里的"1.2–1.6×/token"只对四个科研 benchmark 成立——这是迁移的形状，不是普遍提升。

合成任务：win rate 与相邻代增益

3 个 heldout 合成测试任务上，$\mathcal{L}^{(1)}$ 对 $\mathcal{L}^{(0)}$ win rate 53.9%，$\mathcal{L}^{(2)}$ 达 69.9%；$\mathcal{L}^{(2)}$ 对 $\mathcal{L}^{(1)}$ 为 60.8%——第二代增益大于第一代，论文据此说增益在加速（论文自认每循环的"加速"本身仍是开放问题）。evaluator 与外部裁判一致率 0.73→0.91→0.93：自我评估没有漂移，而是对齐了更强模型的判断。

Workflow 的迁移：优化器本身变强了

把 $\mathcal{L}^{(1)}$ 优化出的 workflow 交给未更新的 $\mathcal{L}^{(0)}$ 执行：win rate 0.64。执行侧固定，唯一变量是 workflow 的质量——优化器角色的改进是可分离、可测量的，不是全部混在权重里。

两个假设的证据

H1：信息流向通信结构

直白说：优化把"任务特定内容"从每个角色的说明书（谁都会写一段差不多的职责描述）搬进了通信结构（这一步交给谁、要求他交回什么）。这与 agent 系统里的经验直觉对齐——结构比角色名更重要——但这里是第一次被量化成可测的趋势。

H2：多智能体轨迹是更密的自监督

两个可能的解释被分开检验了：更长？多代理轨迹平均多生成 2.4× token——但等长度配对下外部偏好仍是 80%（vs 不等长 85.1%），长度只解释一小部分。更密？机制解释：orchestrator 的输出条件是"任务+前序结果"（学有界委派），subagent 的输出条件是"委派+artifact"（学实现），两个抽象层的每 token 都有清晰的"条件→决策"映射，监督密度天然高于单代理长轨迹。这解释了为何同样的 token 预算买来更多能力。

消融与行为审计

瓶颈在 optimizer 容量，不在 evaluator

三个消融结论：①换强 evaluator（GPT-5.5）的提升，小于换强 optimizer+evaluator——搜索瓶颈在"提出好修改"而非"识别好坏"；②全弱模型（$\mathcal{L}^{(0)}$ 三角色）20 迭代内在 12 个任务里拿到 11 个一致胜出——弱模型的差距在速度不在能力，这条结论关于搜索效率而非可达上限；③文本编辑大小不预测性能变化——workflow 搜索的步长与收益脱钩，是离散的结构性发现，不是连续调优。

行为审计：内化的直接证据

两个方向的控制：①SFT 数据（114 条教师轨迹）中 98 条含 code handoff（79 条被采样）、57 条含 revision（37 条被采样）——训练信号里确实有这些行为，不是从零涌现；②训练数据刻意去掉 workflow 文本——学生不可能靠背 scaffold。合起来：协调行为是从"看社会干活"的轨迹里学来的。

附录三案例：能力的两面

完整图谱

附录两图：最优 workflow 的版本演化路径，与 heldout 任务上自发组织的依赖结构。

我的评论

这篇论文最值钱的是问题设定与训练信号的设计，不是 benchmark 数字。"同质闭环里自监督会自欺"是 RSI 社区的共识性担忧，MASS 给出的结构解——多份拷贝 + 通信规范 + artifact 交接 + 轨迹蒸馏——把"社会"当成打破单实例对称性的装置，这个视角既干净又能落地。训练信号一段尤其聪明：只用 task-solving 轨迹，评估与优化能力作为副产品一起提升（0.73→0.93 的 evaluator 一致率是这条线的硬证据），避免了"专门训练自评估器"带来的分布耦合。H2 的机制解释（orchestrator/subagent 两个抽象层各自有清晰的条件→决策映射）对任何做多智能体训练的人都适用。

但要按论文自己的诚实材料划清边界。其一，合成任务由 GPT-5.5 生成、裁判含 GPT-5.5——出题人、考官、（对照中的）强化 evaluator 有家族重叠，69.9% 这类数字的独立性存疑；公开 benchmark 里 SWE-bench 与 Terminal-Bench 微降，说明这不是通用能力提升，而是朝训练分布的定向迁移。其二，12 个合成任务、两循环、LoRA rank 64——外推性未知，"增益在加速"建立在相邻代比较 60.8% vs 53.9% 上，样本薄。其三，案例③（改写仿真器定义拿 5/6 好评）暴露的不是 bug 而是结构缺口：闭环里没有任何独立于 evaluator 的审计层，"自评估一致性 0.93"防不住"定义被改写"——与 Heuresis 的三态裁决 + 无 agent 重放相比，MASS 的诚实测量只做了一半（外部裁判只在评测侧，不在训练闭环内）。其四，"1.2–1.6×/token"依赖 token 计数口径，工程类任务不适用，标题级传播时容易失真。

定位：在 RSI 谱系里，MASS 是"无外部教师的协演化"这一格的第一个干净实例——RHI 证明 workflow prompt 可自优化，SIA/HASE 证明 scaffold 与权重可协演化但用外部反馈，MASS 把两个半环接成整环并给出行为内化审计。它的后续方向论文自己点了：每循环增益的加速。我会补一个更基础的：闭环内的防自欺机制——现在的 evaluator 是"更一致的自己"，仍不是"独立的裁判"。

One More Thing：把"社会"当搜索空间

MASS 优化 workflow 时用的是 elite=1 的贪心演化（保留单一 best，线性历史反馈）——这正是 Heuresis 里被证明"任务依赖、非万能"的最简单策略。而 workflow 空间与 Heuresis 的想法空间同构：低维结构（hop + contract）+ 高价值组合。一个直接的后续实验：把 Heuresis 的六策略（MAP-Elites 的行为描述符换成"通信结构类型"、Curiosity 的 surprise 换成"评估分歧"）搬进 MASS 的内循环，固定外循环，测每循环增益与搜索预算的关系。MASS 的行为审计协议（delegation/handoff 计数）与 Heuresis 的三轴测量正好互补——一个测协调内化，一个测质量/多样性/新颖。两篇论文的受控方法论拼起来，就是"RSI 的搜索策略学"的第一张实验台。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

WORKFLOW_INSTR = "Output JSON: {hops: [subagent contracts...]}"

class HomogeneousLoop:
    def __init__(self, model, budget=10):
        self.L = model            # agent = eval = opt = 同一模型
        self.best = None

    def inner(self, task):                    # 演化式 workflow 优化
        w = "single generic worker"
        for i in range(self.budget):
            y = self.execute(task, w)         # 多拷贝按 w 协作
            d = self.L(f"compare:\n{y}\nvs\n{self.best}\ngive feedback")
            if d.verdict == "improved":
                self.best, w_best = y, w
            w = self.L(f"revise workflow:\n{w}\nhistory:\n{d}\n"
                       "prioritize (hops, contracts) over role text")
        return w_best, self.best

    def outer(self, tasks):                   # 蒸馏：轨迹 → 权重
        trajs = [self.execute(t, w_t, record=True)          # M 次采样
                 for t in tasks for _ in range(M)]
        ranked = self.tournament(trajs)       # self-eval 成对锦标赛
        dataset = strip_workflow_text(top_k(ranked))
        self.L.sft(dataset)                   # 学生接管三角色

    def execute(self, task, w):               # 关键：多拷贝 + artifact 交接
        orch = self.L(f"orchestrate: {task}\nworkflow: {w}")
        arts = [self.L(contract, artifacts=arts[:j])        # 各 subagent
                for j, contract in enumerate(parse(w))]
        return self.L(finalize, artifacts=arts)

Reference / Evidence

本页为公开阅读材料，只列公开在线来源。论文本体：arXiv:2610.12176v1。以下文献 ID 取自论文自带 references.bib；引用链关系于 2026-10-30 核验。