Plasticity of Growing and Elastic Neural Networks

先讲一个故事：越学越多，却越来越学不动

教学性场景（非论文记载）：设想一台持续接收新图像分类任务的边缘设备。它不能把历史数据全部存下来重训；新任务一批批到来，旧网络看起来容量也还够，但在线准确率逐渐下滑。工程师先给网络不断加新单元，却把旧单元的输入连接冻结，结果新容量增加了，系统仍没恢复学习力。转折是换掉这个设计约束：让旧连接继续适应新数据；进一步，在任务边界识别并剪掉长期不活跃的单元，模型大小也不再无止境膨胀。

故事与技术如何对应

设备与任务流是帮助理解的教学类比，不是作者报告的真实部署。论文中的对应事实是：在线置换图像任务上，SGN 增长但冻结已有连接，AGN 增长且所有连接继续训练，AEN 再于任务边界剪枝估计死亡单元。核心转折不是“加宽就能学”，而是保持旧连接的适应性；准确率结果支持的是当前任务上的 plasticity，不代表保住旧任务记忆。

版本注记

阅读依据：arXiv v1（题名 Plasticity of Growing and Elastic Neural Networks in Online Continual Learning）；检索日期：2026-10-23。以下解读以该版本公开内容为准，不将未核验的后续修订或评审信息当作事实。

先给结论：增长并不自动带来可塑性

这篇论文最重要的不是提出“网络可以长大”，而是用四级对照拆开结构可塑性：固定网络会逐步学不动；冻结旧特征的 SGN 即使持续增加单元仍会下降；让全部连接保持可训练的 AGN 能维持当前任务学习能力；再删除估计死亡单元的 AEN 同时控制模型规模。

研究动机：固定结构为什么是持续学习的隐含假设？

现代网络通常在训练前固定宽度、深度和连接关系。Constructive networks 反过来假设结构应随目标复杂度变化。早期 CasCor、NEAT 以及后来的动态扩展网络多针对离线训练或 catastrophic forgetting；本文把问题限定为 online continual learning 中的 loss of plasticity。

样本逐个到达，每个样本只经历一次 forward、交叉熵和 SGD 更新。作者不问“旧任务是否还记得”，而问网络面对第 k 个新置换任务时还能否达到和早期任务相近的在线准确率。

固定网络基线

F-FCNN 在不同深度与宽度下都出现准确率逐任务下降，dormancy 上升或高位饱和。增加固定容量没有消除长期僵化。

实验设置与两个指标

对任务 t，在线准确率定义为：

$$\mathrm{Acc}_t=\frac{1}{N}\sum_{i=1}^{N}\mathbf{1}[\hat y_i=y_i].$$

若 D_t 是在 probe set 上始终零激活的隐藏单元数，H_t 是当时隐藏单元总数，则：

$$\mathrm{Dormancy}_t=\frac{D_t}{H_t}.$$

Probe set 是任务开始时抽取的 5% 样本。主文展示 Permuted MNIST、N=10,000；其余三种设置在附录。K 控制增加单元的间隔：主文 K=6,500、4,000、3,000，大致对应每任务新增 1、2、3 个单元。

SGN：为什么“只增长”仍会失败？

SGN 从输入到输出的线性网络开始。每 K 个样本增加一个隐藏单元：新单元连接输入、输出和既有隐藏单元；随后既有隐藏单元的入边被冻结，但隐藏到输出的边和输入到输出的直连边始终训练。它与 CasCor 的区别是在线、以预测误差反向传播学习新特征，而不是批量最大化候选特征与残差的相关性。

关键失败机制：后续任务被迫同时使用仍有价值和已无关的冻结特征。新容量不断加入，但噪声特征也积累；作者推测下降在容量足够大时趋于平台。这个结果否定了“随机加单元本身即可保持 plasticity”。

AGN：取消一条冻结规则，结果为何翻转？

AGN 与 SGN 唯一关键差别是：所有连接永不冻结，旧特征也能随新任务继续调整。这一小改动构成本文最有力的机制消融。

AGN 的准确率不再随任务下降，但死亡单元比例仍增加。这说明 dormancy 与 plasticity 相关，却不是充分指标：只要网络持续调整存量连接并注入少量随机新容量，剩余活跃子网络可能足够学习。

代价是结构无界增长。CasCor 式层层连接使连接数增长快于单元数，内存和前后向计算持续增加，因此需要回收机制。

AEN：死亡单元剪枝为什么让规模趋于饱和？

AEN 在每个新任务开始时，用 5% 样本估计哪些 ReLU 单元始终输出 0，并删除这些单元及相关边，然后继续执行 AGN 生长。因为探测是近似的，偶尔也会删掉活跃单元，所以 AEN 与 AGN 不具有完全相同的训练轨迹。

AEN 的 dormancy 接近 0，准确率与 AGN 一样稳定。MNIST 中饱和规模大致随每任务新增单元数线性变化；FashionMNIST 并不严格遵循这一规律，且更难的数据集有时反而得到更小饱和网络，说明结构规模不是任务难度的简单函数。

Two-layer 变体：更浅的连接是否更便宜？

原 AGN/AEN 的新单元会接收既有隐藏单元输出，网络逐渐加深。Two-layer 变体禁止隐藏单元之间连接，每个新单元只接收输入，因此可能缩短前后向路径。

MNIST 上 two-layer 版本的收敛连接数可能更大，FashionMNIST 上则接近原架构。它可能在串行深度上更快，却不保证内存更小；论文没有报告 wall-clock，因此只能把“更高效”视作待测假设。

三组附录实验：主结论是否跨设置保持？

附录不是重复图片仓库，而是在不同数据集和任务长度下检查同一方法链。每组依次展示 SGN、AGN、AEN 的准确率与规模、two-layer 的准确率与规模。

FashionMNIST，N=10,000

难度上升后，SGN 仍下降，AGN/AEN 仍保持当前任务学习能力；AEN 规模饱和，但饱和值与 MNIST 不同。

MNIST，N=40,000

任务更长时 K 调整为 24,000 / 12,000；更多样本并没有改变“冻结增长失败、全自适应增长成功、剪枝控制规模”的定性排序。

FashionMNIST，N=40,000

最难且任务最长的组合仍复现主要趋势；但饱和结构与增长率之间的关系更不规则，提醒读者不要把 AEN 解释成自动发现“最小正确网络”。

我的评论：本文真正证明了什么？

成立的部分

• F-FCNN→SGN 证明增加容量并不足以维持 plasticity。
• SGN→AGN 的单规则变化证明旧连接持续自适应是决定因素。
• AGN 高 dormancy 但高准确率，反驳了把 dormancy 当作单一充分解释。
• AEN 与随机剪枝对照说明基于死亡探测的选择比任意删单元更可靠。
• 四种数据流和两种结构变体支持定性稳健性。

未闭合的部分

• 需要已知任务边界和 5% probe samples，不能直接用于边界未知的数据流。
• 只用小型全连接网络和置换图像，没有 CNN、Transformer 或自然分布漂移。
• 没有 wall-clock、FLOPs 或统一参数预算，结构效率结论有限。
• 不回测旧任务，因此没有解决 stability-plasticity dilemma。

Rebuttal 过程（如果有）

未公开。arXiv v1 中 OpenReview 仍是占位标识；截至 2026-08-18 没有可核验的公开审稿与作者回复。

One More Thing：结构更新是持续学习设计空间的一条轴

AGN/AEN 与 CBP 很可能共享“持续提供低相关、可训练的新表示”这一机制，但操作不同：CBP 重置存量单元，AGN 增长，AEN 增长后回收。真正决定性的实验应统一参数量、FLOPs、随机注入率和旧任务保持，再比较 reset / grow / prune。

跨论文洞见

• 与loss-of-plasticity及learning-to-forget / FADE并读，可以把“持续学新任务”与“选择性遗忘/抵抗可塑性衰退”分开：本论文主要提供结构扩展与连接持续适应的证据，不以旧任务保持作为指标；它们并非同一问题的替代解法。跨文献比较是概念性综合，结论受各自实验设定限制。
• 再对照step-size optimization，可将干预位置分成表示/拓扑（grow、prune）与优化动力学（调整步长）。有价值的下一步不是直接宣称哪种更优，而是在相同数据流、容量/FLOPs预算和旧任务评测下做因子化对照，检验结构更新是否独立于步长调节带来收益。

Other Discussion Roles / 其他讨论角色

七个角色保留 MIT MAS.S60 原始 prompt；回应分别执行该角色要求，不使用跨论文通用答案。

dead = (relu(x @ W.T + b) == 0).all(dim=0)
W = W[~dead]; V = V[:, ~dead]
W, V = append_random_unit(W, V)

Reference / Evidence

1. arXiv:2608.01475
2. Original PDF
3. Fahlman & Lebiere (1990), Cascade-Correlation Learning Architecture.
4. Dohare et al. (2024), Loss of Plasticity in Deep Continual Learning.