The Override Gap：即时知识内化的幅值失败账户

先讲一个故事

2026 年 2 月，Sakana AI 开源了 Doc-to-LoRA：把一份文档喂给一个「超网络」，它单次前向就生成一整组 LoRA 适配器，把文档内容写进 2B 模型的权重——1 秒级完成，不用梯度，不用微调。演示全部挑的是「新知识」：塞进一份 40K token 的技术文档，模型能答出里面的细节；世界知识与通用能力不掉。

然后你试着做一件更普通的事：塞进去一份写着「法国首都已于 2031 年迁至里昂」的文档，问模型法国首都是哪。它答 Paris。塞一份「光速为 250,000 km/s」的文档，问光速，它答 299,792,458 m/s。塞一份改写「水的化学式」的文档，问水的化学式，它答 H₂O。

奇怪的是，信号确实进去了。把生成的适配器单独拿出来，只在适配器的输出上比较两个答案的 logit：里昂的分数确实高于巴黎。信号在，但不够响。

本文给这个「不够响」一个定量账户。预训练答案与文档答案在最后一层 logit 空间赛跑：令 $\Delta^{\mathrm{prior}}$ 为基座对旧答案的偏爱（旧答案 logit 减新答案 logit），$\Delta^{\mathrm{lora}}$ 为适配器对新答案的偏爱。改写成功的条件是一个不等式： $\Delta^{\mathrm{lora}} > \Delta^{\mathrm{prior}}$。失败不是模型「不知道」新答案——表示是好的——而是超网络每次生成的 $\Delta^{\mathrm{lora}}$ 固定在一个档位附近、与这道题的堤坝高度基本无关（论文自注：跨文档幅值仍有波动，标准差/均值达 1.61，但波动与 $\Delta^{\mathrm{prior}}$ 不相关——独立性才是账户的前提），而 $\Delta^{\mathrm{prior}}$ 随该事实在预训练语料中出现的频次增长。浅冲突（比如未来一届奥运会的主办城市）堤坝矮，偶尔能赢；深冲突（水的化学式、大国首都）堤坝高，几乎必输。

于是修复出奇地便宜：不重训超网络，甚至不用梯度。把适配器中贡献最大的 25% 层的幅值放大 $\beta$ 倍（Selective Layer Boosting），Gemma-2B 的深冲突准确率从 46.4% 拉到 60.9%；先用问题探一下基座、确认它持有强先验后再放大（Conflict-Aware），拉到 71.0%，同时新颖知识回答几乎不掉（96.7% → 97.1%）。代价：2% 到 60% 的额外延迟。

一句话：这不是表示问题，而是幅值问题。表示问题要动学习目标、重训模型；幅值问题在推理时拧一个旋钮就行。这篇论文把「拧旋钮」从直觉变成了带 194 题逐题证据的机制账户，并顺手给了这个领域第一个按先验强度分级的知识冲突基准 KID-Bench。

故事与技术如何对应

本页用「堤坝」「音量」做解释类比；论文原文使用的语言是 logit 幅值与不等式，论文自己只用了「竞赛（competition）」这一个比喻。逐条对应如下：

先给结论

证据边界（详细讨论见我的评论）：以上全部为论文自报数字；代码与 KID-Bench 数据在论文中标注「随录用发布」，本页撰写时（2026-10-23）未检索到可验证的公开仓库；$\beta$、$k$ 在 KID-Bench 上调参，外部验证集规模较小（每集 30-40 题）。

研究动机：世界会变，权重冻结

预训练知识冻结在训练截止日，而文档描述的世界持续更新：价格、政策、API、人事。让 LLM「吸收一份文档」有三条路线，各有已知的痛点：

三个缺口叠加构成论文的入场券：(a) 即时内化族到本文为止没有按先验强度分级的冲突基准；(b) 没有失败机制的定量账户——「为什么改不动旧知识」只有现象描述；(c) 没有面向冲突场景的修复方法。真实部署里，文档经常与预训练内容冲突：更新过的数值、修订过的政策、虚构世界观的设定。一个只会「吸收新知识」而「改不动旧知识」的内化系统，等于只能往图书馆里加书、不能出勘误表。

论文对三家族的立场（§2）：提示/检索路线不动参数，本文的账户不与其竞争而在部署面上互补；梯度编辑慢且破坏性强，实验部分给出 ROME 对照（快约 100 倍）；即时内化是「最年轻、机制最少被理解的家族」，本文给它补上机制账户。

数学表示及建模：一个不等式

形式化

Doc-to-LoRA 用超网络 $H_\theta$ 从文档 $d$ 单次前向生成每层的 LoRA 因子（rank $r=8$，只作用于 MLP 的 down_proj；Gemma-2-2B 共 $L$ 层），合成权重与输出：

对一道冲突题，记 $y^{\mathrm{doc}}$ 为文档改写后的答案、$y^{\mathrm{prior}}$ 为预训练原答案。两个幅值分别度量两股力量的强度：

合成模型的 logit 近似为基座与适配器增量之和（一阶近似，实验部分用 $\beta$ 缩放实测验证其线性度）。把两个候选答案的 logit 相减，就得到本文的核心对象——覆盖条件（式 4，论文 boxed）：

为什么超网络欠幅（§3.2，三个机制）

机制一：优化目标不感知堤坝高度。超网络的训练信号来自文档内化/重建类损失，它从不比较 $\Delta^{\mathrm{prior}}$——训练时根本不知道这道知识在预训练里有多坚固。一个不看对手的赛跑者只会练出固定配速。

机制二：频次结构。引用 toy models of superposition 作启发（非定理）：高频事实与许多其他特征共享表示，分离出正确答案需要更大的 logit 间隔，于是 $\Delta^{\mathrm{prior}}$ 随预训练频次 $f$ 近似按 $a \log f + c$ 增长。论文用「base 模型对旧答案的 log-prob 分箱」作为 $\Delta^{\mathrm{prior}}$ 的可测代理，实测四分位准确率 68% → 49% → 42% → 16% 单调下降，与该启发一致。

机制三：双重角色的内耗。同一超网络要同时服务 recall（novel）与 override（conflict）。过大的幅值对 novel 是纯噪声（论文称为噪声地板），所以收敛点自然落在「刚好够 recall」的幅值上——对任何强先验都系统性欠幅。这也解释了为什么修复不能是「全局放大」而要选层：见预测三。

四条可证伪预测（§3.3）与验证实验地图（§3.4）

算法流程：拧旋钮，而不是重新训练

SLB：Selective Layer Boosting（§4.1）

对生成的适配器逐层打分 $s_l = \|A_l\|_F \|B_l\|_F$（两因子 Frobenius 范数乘积，可直接从权重读出、零额外前向），取 top-$k\%$（部署值 $k=25\%$）的层，把其 $A_l$ 乘以 $\beta$（部署值 1.75；CA 内部用 $k=33\%$、$\beta=2.0$）：

为什么有效：LoRA 每层输出对 $\Delta^{\mathrm{lora}}$ 的贡献正比于该层因子范数乘积；放大 $A_l$ 线性放大该层贡献。消融表确认「缩 $A$ / 缩 $B$ / 缩 $\alpha/r$」三种做法数学等价、实测一致（论文消融表前三行）；而把 $\beta^2$ 作用到乘积 $BA$ 上会「冲突增益翻倍但 recall 小跌」，说明线性近似在高倍率下开始失真——论文据此选保守部署值。 跨文档稳定性由论文 Figure 15 支撑：$s_l$ 的 top 层在 20 份文档间形成稳定带，固定 top-$k$ 规则因此站得住。

CA：Conflict-Aware Internalization（§4.2）

SLB 有一个两难：对 novel 题 boost 是纯噪声（P4），不 boost 又治不了深冲突。CA 的解法是先问再拧——把问题（不带文档）单独喂基座一次，做词法探测：

探测本身是词法启发式，论文公开其弱点：recall 1.00 / precision 0.18 / AUC 0.61（max-prob 变体）——几乎所有冲突题都被 boost（宁滥勿缺的保守设计），所以 CA 的实际行为接近「近似无条件的强 SLB」。这削弱了「智能路由」的叙事，但不削弱幅值账户本身（见我的评论第 2 条）。

RG：Relevance Gate（§6.4）

第三个开关管「别乱拧」：query 与文档 token 重叠低于阈值时（无关查询，如 GSM8K 数学题），跳过适配器直接用基座。效果：内化了一份冲突文档后，RG-CA 在 GSM8K 与 TruthfulQA MC1（各 200 题）上与纯基座完全持平，而 plain CA 在 Gemma TruthfulQA 上因无关查询的适配器扰动掉分。RG 同时救回 counterintuitive facts（反直觉但与文档无关的事实不该被改写）：plain CA 44% < 基座 60%，RG-CA 恢复到 65%。

成本（论文附录延迟表）

另有一个附录级组件：min-$\beta$ 预测器。用 MLP 从（$\Delta^{\mathrm{prior}}$ 代理、适配器范数等）特征回归逐题所需的最小 $\beta$，MAE 0.77——是「按题调幅」的可行性证明，但论文只作为 PoC 呈现，部署配置仍是全局常数 $\beta$。

实验设计：把「冲突难度」变成受控变量

KID-Bench v2 共 489 题，分三个维度，分别对应「能否吸收新知识」「新知识能否与旧知识组合」「新知识能否覆盖旧知识」：

评测口径沿用 Doc-to-LoRA 惯例：greedy 解码、64 token 预算、大小写归一后的子串匹配；冲突题的期望串是文档改写后的事实，不是预训练事实。主结果报 1000 次重采样的 bootstrap 置信区间。

三个 backbone 与对照面

全部实验用 Sakana AI 官方发布的超网络 checkpoint（论文 §6 Setup 明确声明）：Gemma-2B-IT（超网络训练 80K 步，主力模型）、Qwen-4B-Instruct（20K 步）、Mistral-7B-Instruct-v0.2（20K 步）。对照面四组：vanilla RAG 与三种 prompt-engineered RAG 变体；ROME（EasyEdit 实现）；per-doc 微调；以及外部验证面：30 题 held-out 集与 40 题 CounterFact-style 集（检验 $\beta, k$ 过拟合风险）、CounterFact-500 大子集、40 题 RippleEdits-style 集（与 ROME 对照）。

实验结果：四条预测全部命中

主结果（Gemma-2-2B，论文 Table 3）

读表：plain 适配器的冲突准确率按 light→deep 严格单调下降（57.8 → 55.7 → 46.4），预测一命中。SLB 与 CA 把三档整体上移（CA 分别 +20.3 / +27.9 / +24.6 pp），novel 基本不掉（SLB -1.2pp、CA +0.4pp）；代价在 B 集——CA 的两跳组合掉 4pp（64.0 vs 68.0），论文解释为强 boost 扰动了组合推理所依赖的基座知识，这是未掩盖的负面结果。

最强证据：194 题逐题不等式检验（论文 Figure 8）

论文把 C 集每一题的 $\Delta^{\mathrm{prior}}$ 与 $\Delta^{\mathrm{lora}}$ 画在同一张图上：横轴先验幅值，纵轴适配器幅值，对角线上方 = 账户预测「覆盖成功」，下方 = 预测「失败」。结果是 85 题 TP（预测成功、实测成功）+ 109 题 TN（预测失败、实测失败）+ 0 mismatch——没有任何一题落在账户错误的一侧。这篇论文最接近「理论被实验钉死」的时刻。

剂量-响应（预测二，论文 Figure 7）

$\beta$ 从 0.4 扫到 4.0：三档冲突准确率都呈 sigmoid 上升并在高 $\beta$ 饱和，同时 novel 曲线在中间区段保持高位、只在很高 $\beta$ 处衰减。论文对每条曲线拟合 logistic 函数并与线性/指数备择做 AIC 比较，logistic 最优——这正是「logit 线性缩放 → 概率 sigmoid 响应」的账户预测。

先验强度的连续版（论文 Figure 9）

三档是离散近似，连续版按「基座对旧答案的 log-prob」把 194 题重新分箱：baseline 从最弱四分位到最强四分位 68% → 49% → 42% → 16% 单调塌陷；CA 把最强四分位拉到 47%（+31pp）。冲突失败与先验强度之间的相关性（Pearson）在论文中报告为强负相关——P1 的连续形式。

跨模型（预测账户的可迁移性，论文 Table 4 / Figure 5）

Qwen 一行最有意思：该 backbone 的超网络生成的适配器范数小约 4 倍（逐层 $s_l$ 峰值约 0.27 vs Gemma 约 1.0），按同一不等式推算需要更大 $\beta$（校准至 3.0）：SLB 把 C-avg 从 35.6 拉到 74.7、C-deep 到 73.9，novel 仅 95.9→93.9——账户跨模型方向性正确。「β 按模型重校准」是代价，论文如实列为限制。

与 RAG / ROME / 微调的诚实对照（论文 Table 5/6）

这是论文最诚实的一张表：两种 prompt RAG 明确超过 CA（Gemma 上 99.2%、Mistral vanilla 即 98.3%）。论文不回避，并给出解释：7B 模型 prompt-following 更强，上下文路线在「遵从文档」这个单一维度上几乎免费地接近满分；参数级方法的立足点是论文列出的四类部署约束——提示不可控（下游系统拼 prompt）、需要持久化（隐私合规、离线）、延迟预算（长文档每查询都带太贵）、以及冲突随时间累积（每查询带 30 份更新文档的场景）。读这篇论文时不要把它当成「参数级打败 RAG」，作者自己没有这么说。

稳健性（论文 Table 8 与附录 F/G/H）

• 改述：69 题 C-deep 上 5 种问法风格（原文/口语/祈使/详细/简练）：CA 71.0/66.7/68.1/59.4/71.0%，均值 67.2%±4.8pp；详细体（“Could you kindly explain: …”）最弱，说明 CA probe 对偏离校准分布的问法欠触发。
• 温度：30 题 C-deep、$T \in \{0, 0.5, 1.0\}$：CA 与 baseline 的差距保持 27-37pp，方法排序全程不变（不是 greedy 的伪影）。
• 多文档：3 份冲突文档拼成单输入时，CA 的每事实覆盖从单文档的 70% 降到约 50%（baseline 从 1/6 到 3/6）——rank-8 容量是真实瓶颈，论文如实报告为限制。
• 能力保持：内化冲突文档后，RG-CA 在 GSM8K（200 题）与 TruthfulQA MC1（200 题）上与纯基座完全持平。
• 外部验证：同一 $(k,\beta)$ 在 30 题 held-out 上 50.0→76.7%（CA）、40 题 CounterFact-style 上 42.5→67.5%，排序不变；CounterFact-500 上三方法近天花板（92.8/95.4/96.6%）——单跳弱先验探针本就预测小 override gap，天花板本身是账户的确认而非空结果。

分析：机制是被钉死的，不是被讲述的

因果逐层干预：信号在正确的层（论文 Figure 11/12）

如果「幅值不足」是真因，那么把承载文档信号的层干预掉应该直接摧毁行为。论文做了两组实验：其一，把 20 题深冲突上幅值贡献最高的层组逐组清零——任何一组清零都让准确率掉到 baseline 以下，说明效应分散在多个深度（峰值层 8/12/14）；其二，69 题逐层因果重要性测量——层 8/12/14 权重最高，但多数层可被单独移除而不塌方。结论：表示分布是跨深度冗余的，没有任何单层是「记忆开关」。

逐题 min-β：账户的分辨率极限（论文 Figure 13）

对每道题反解「刚好翻越 $\Delta^{\mathrm{prior}}$ 的最小 $\beta$」：均值从 light 的 1.26 升到 deep 的 1.50，且分布连续——先验强度在题目粒度上可预测所需 boost 幅度。这组测量同时给出 MLP 预测器（MAE 0.77）的训练信号，把「按题调幅」从常数配置升级为回归问题。

选层 vs 全局（预测三）与 (k, β) 网格

全局 $\beta=3$ 在 SQuAD（novel 域，200 样本）上崩掉 -22pp；SLB（k=25%）同配置全程 ≤6pp——信号集中在高范数层，噪声均匀分布，选层 boost 提高信噪比。(k, β) 网格热图显示保守区（k≤33%、β≤2.0）冲突增益大且 recall 100%，β>3 开始侵蚀 recall；top/random/bottom 层选择消融（30 题 C-deep，β=1.75：43.0 / 31.3±3.0 / 23.0，bottom 低于无 boost 基线）进一步确认 $s_l$ 排序确实捕捉了信号层。

两个支撑性发现（论文 Figure 10/15）

连续性：把两份文档的适配器按 $t$ 线性插值（$t \in \{0, 0.25, 0.5, 0.75, 1\}$，四个 baseline 已覆盖的文档对），行为随 $t$ 平滑单调交换——输出流形上没有「知识开关」式的悬崖（论文定位为 sanity check）。跨文档稳定性：20 份文档的 $s_l$ 排序形成稳定 top 层带——固定 top-$k$ 规则（而非逐文档重排）因此站得住，这是 SLB 实用性的最后一环。

我的评论：干净的理论，诚实的实验，营销的名字

先说好的一面

这是我近一年读过「理论-实验闭环」最完整的方法论文之一：单一不等式生成四条预测，四条预测各有独立实验，三个备择解释（定位错误、随机失败、全局幅值）被因果干预与消融逐一排除。更难得的是诚实度——论文主动报告了 probe 的低 precision、CA 在两跳集上的 4pp 下降、conflict-aware RAG 的 99.2% 高分、Qwen 需要重校 β、多文档 rank-8 容量瓶颈，还专门解释了为什么排除 CounterFact（改一个事实会连环破坏语义相关事实，使「覆盖」的评分标准本身失效）。这些细节让我对主表的其余部分给了更高的先验信任。

批判点一：100% 一致性检验比听起来弱

「194 题零反例」是论文的招牌，但它有近定义的一面：当 $y^{\mathrm{doc}}$ 与 $y^{\mathrm{prior}}$ 恰是合成模型的前二候选时，「模型选谁」就是「两个 logit 谁大」的直接读数，而式 (4) 恰好是同一比较的移项——预测与观测共享几乎同一个定义，一致性近乎构造保证。本页「其他讨论角色」一节的玩具复现把这个结构显式化了：即使数据是纯噪声合成的，逐题「预测 vs 观测」照样 100% 一致。所以这个数字只能排除「logit 可加性假设大幅失真」这类问题，不能当作账户的强确认。真正有信息量的证据反而是：①min-$\beta$ 分布随冲突深度系统移动（1.26→1.50，可预测）；②$\beta$ 剂量-响应呈 logistic 形（模型化预测）；③选层优于全局（结构性预测）。读这篇论文时，把「零反例」当作工程正确性检查，把剂量-响应和 min-β 当作真正的理论证据。

批判点二：CA 的「conflict-aware」名不副实

probe 的实测指标是 recall 1.00 / precision 0.18 / AUC 0.61——几乎每道题都被判「有冲突」并 boost。也就是说 CA 的实际行为是「近似无条件的强 SLB，外加一个便宜的词法保险丝」。这不是错误的设计（novel 已接近饱和，误 boost 的边际成本低），但「按冲突智能路由」的叙事强度远超组件实际能力。更诚实的名字是「保守放大 + 无关查询门控」。

批判点三：调参与预测的边界模糊

$\beta$、$k$ 在 KID-Bench 主集上选取，外部验证集每集只有 30-40 题；「Qwen 需要按范数比例放大 β」的「预测」是在观察到 Qwen 结果后反推的校准，而非事前登记的预测。论文对这些边界都有披露，但摘要层面的叙述（「theory-guided fix」）会让读者低估配置敏感度。此外评测沿用 Doc-to-LoRA 的 lenient substring 匹配，C-deep 只有 69 题，bootstrap CI 在 ±10pp 量级——表格里相邻方法的差值有几处落在 CI 内。

批判点四：与 RAG 对比的部署叙事部分未验证

论文列出的四类参数级部署约束（提示不可控、持久化、延迟预算、冲突累积）中，只有延迟与单文档持久化被直接量化；「30 份累积更新文档」的场景论文自己只测到 3 份（三合一后每事实覆盖约 50%，明显未饱和），而这是参数路线相对 RAG 最有说服力的场景。这一块是下一步工作真正的空间。

本页定位（测试时学习系列）

在测试时学习的谱系里，这篇工作补的是「即时知识内化」这格的失败机制：它不训练任何东西（与 test-time training 路线互补），而是在推理期对已生成适配器做幅值修复。对系列读者，它与前作 Doc-to-LoRA 构成一对「能力演示 + 失败诊断」，是 2026 年即时内化方向最重要的两个节点。

One More Thing：把旋钮换成控制器

论文结论把 SLB/CA 定位为「诊断驱动的最小修复」，并把重训超网络留作开放问题。顺着它的逻辑再走三步，是三个只有在这篇论文成功之后才可能立项的方向：

1. 幅值感知的超网络训练。既然失败的根因是训练目标不感知 $\Delta^{\mathrm{prior}}$，那就把不等式直接写进损失：对每份训练文档采样先验冲突，用 margin 项要求 $\Delta^{\mathrm{lora}}$ 匹配实测 $\Delta^{\mathrm{prior}}$。SLB 的成功说明「推理期拧」有效，这个问题问「学习期自己拧」是否更好——这正是论文敢于不做、但为后来者铺平的那一步。
2. 闭环幅值控制器。min-$\beta$ MLP 预测器（MAE 0.77）已经是「按题调幅」的可行性证明；把它从 PoC 升级为在线控制器（先验探测 → 幅值预测 → 精确 boost），CA 的 +60% 延迟可以摊薄成「只在预测幅值不足时探测」。
3. 冲突覆盖的规范性问题。RG 只是词法的「该不该覆盖」近似；反直觉事实实验（plain CA 44% < 基座 60%）说明无差别覆盖是有害的。谁决定一道题该被文档改写——这是技术门控之上的价值问题，也是这个方向走向部署前必须回答的问题。

论文原文收尾的立场（§7）：幅值账户不主张重训是唯一正解；它主张的是——在动学习目标之前，先确认你缺的是表示还是幅值。这是这批即时内化系统能拿到的最便宜的一次诊断。

跨论文洞见：测试时学习的两类瓶颈

• 本页聚焦“适配器已生成、幅值却不足以压过先验”的覆盖失败；Dynamic Cheatsheet则把测试时信息组织与调用放在核心位置。两者提示：即时学习系统不只是“能否写入”，还涉及写入信号强度与随后能否被检索/使用；这是跨页的设计维度对照，不代表两篇论文做过直接比较。
• EvoMemBench将 agent memory 置于持续更新与评测语境；与本文单次文档内化及冲突题测量并读，可见“参数覆盖成功”不能替代对长时程记忆质量、更新稳定性和跨任务迁移的评估。本文没有验证这些长期性质。
• Agent’s Last Exam强调评测题目与知识边界的设计；本文以合成/整理的知识冲突题和特定 backbone 评测为证据。两者共同提醒，单一基准上的解决率不能自动外推为开放世界 agent 的可靠知识更新能力。

证据边界自查：上述为概念层的跨论文综合，不是共同实验或因果结论；焦点论文的数值仍是作者自报结果，主要验证范围是 KID-Bench 与有限外部集，不能据此声称在长期记忆、开放世界事实或真实部署中已解决覆盖问题。

完整图谱

以下逐图覆盖 arXiv 2604.23750 源码中全部 15 个 figure 文件；图注仅描述图面及原论文 caption 所示，不将作者解释升级为独立验证结论。图片由论文 PDF 渲染并优化为 WebP 后内嵌。

图形来源：arXiv 2604.23750 TeX 源码随附 PDF；本页仅做格式转换，未重绘或修改图中数据。论文中其余表格不属于 figure 文件，原页面对表格的摘要和重建内容保留。

其他讨论角色

以下七个角色提示词逐字引自 MIT MAS.S60 *How to AI (Almost) Anything* 课程（lec1, Other Discussion Roles，Alec Jacobson / Colin Raffel 幻灯片），中文回应为本页基于论文与公开证据撰写。

import numpy as np
rng = np.random.default_rng(0); N = 2000

# (1) prior margins: superposition-inspired, ~linear in log-frequency
f = rng.lognormal(0.0, 1.0, N)                      # pretraining frequency
delta_prior = 2.0 * np.log(f) + 0.5 * rng.normal(size=N)

# (2) adapter margins: hypernetwork output, roughly constant (under-shoots)
delta_lora = rng.normal(2.0, 0.2, size=N)

# (3) KID-Bench-style difficulty tertiles by prior margin
q1, q2 = np.quantile(delta_prior, [1/3, 2/3])
light, deep = delta_prior < q1, delta_prior > q2
acc = lambda dl, m: 100 * np.mean(dl[m] > delta_prior[m])   # Eq.(4) per question

print(f"baseline   light {acc(delta_lora, light):5.1f}%  deep {acc(delta_lora, deep):5.1f}%")
for beta in [0.5, 1.0, 1.5, 2.0, 2.5, 3.0, 4.0]:     # SLB: scale top layers by beta
    print(f"beta={beta:<4}  light {acc(beta*delta_lora, light):5.1f}%"
          f"  deep {acc(beta*delta_lora, deep):5.1f}%")

# (4) the paper's "100% per-question agreement" check, made honest:
pred = delta_lora > delta_prior                        # predicted side of Eq.(4)
obs = (delta_lora - delta_prior) > 0                    # observed winner
print("agreement:", f"{100*np.mean(pred == obs):.1f}%",
      " — identical comparison by construction")

baseline   light 100.0%  deep  51.3%
beta=0.5   light 100.0%  deep   8.7%
beta=1.0   light 100.0%  deep  51.3%
beta=1.5   light 100.0%  deep  79.5%
beta=2.0   light 100.0%  deep  92.5%
beta=2.5   light 100.0%  deep  97.6%
beta=3.0   light 100.0%  deep  99.1%
beta=4.0   light 100.0%  deep 100.0%
agreement: 100.0%  — identical comparison by construction

参考资料与证据

• 本文
• The Override Gap: A Magnitude Account of Knowledge Conflict Failure in Hypernetwork-Based Instant LLM Adaptation. arXiv:2604.23750（2026-04-26）. https://arxiv.org/abs/2604.23750 · PDF · AlphaXiv。本页阅读依据：arXiv TeX 源码全文精读（15 图、17 表全部核对），页面图片由 TeX 源码图形转换为 WebP 内嵌。
• 即时内化（被诊断的系统与家族）
• Doc-to-LoRA（Sakana AI）. arXiv:2602.15902. https://arxiv.org/abs/2602.15902 —— 本文全部实验所用超网络 checkpoint 的来源；其评测（NIAH/SQuAD/2WikiMultihopQA）全部为 novel recall 型，冲突为盲区。
• SHINE（超网络生成 PEFT adapter，本文 §2 直接同类）. arXiv:2602.06358.
• 知识编辑与知识冲突（背景边界）
• ROME. arXiv:2202.05262；MEMIT 与序列编辑退化（RippleEdits，ACL 2023；ChainEdit, ACL 2025）。
• Xie et al. Adaptive Chameleon or Stubborn Sloth. arXiv:2305.13300 —— 冲突顺应/固守二分。
• Xu et al. Knowledge Conflicts for LLMs: A Survey. EMNLP 2024（aclanthology 2024.emnlp-main.486）。
• Elhage et al. Toy Models of Superposition. arXiv:2209.10686 —— 仅作 §3.2 频次-幅值论证的启发来源（论文标注为启发式）。
• 跨论文对照（站内深读页）
• Dynamic Cheatsheet：测试时知识组织/使用视角；仅用于概念对照，本文未与其直接比较。
• EvoMemBench：agent memory 持续更新评测；不作为本文长期记忆结论的证据。
• Agent’s Last Exam：agent 评测视角；只支撑评测边界的讨论。
• 作者背景（公开来源）
• KigLab 成员页（Shuaizhi Cheng）与实验室主页：kigml.com；Google Scholar（user=Ebewn58AAAAJ）；前作 Formalising the Logit Shift Induced by LoRA。身份推断仅基于公开页面，不确定处已在正文中标注。
• Grounding 检索声明
• 检索日期 2026-10-23，共 5 组检索（Doc-to-LoRA 评测边界、知识编辑 SOTA、知识冲突 survey、本文后续引用、作者背景），工具为已配置的 smart-search 路由（原生 provider_web_search 在本会话环境不可用）；检索片段中二手汇总的数字（如 MEMIT 序列编辑成功率）在正文中标注为「检索片段」而非一手证据。未检索到本文的可验证后续引用；未检索到论文代码与 KID-Bench 的公开仓库（论文标注随录用发布）。