Dynamic Cheatsheet: Test-Time Learning with Adaptive Memory

摘要与贡献：提出 Dynamic Cheatsheet，让黑盒 LLM 在连续测试 query 中用文本 memory 累积策略；比较累计策展 DC-Cu、带检索与合成 DC-RS，以及空记忆、全历史和动态检索基线。报告 AIME、Game of 24、GPQA、MMLU-Pro、方程平衡等任务上的结果。

优点 / originality：框架概念简单，系统实用性强；DC-∅ 与 BL 的设置帮助区分结构化提示和记忆收益；FH/DR 对照展示策展与检索不是同一机制。Game of 24 的 10%→99% 与可复用 Python solver 的机制有清楚对应。工作也诚实提到小模型和 GPT-4o 知识任务上的负收益。

主要问题（soundness / evaluation）：(1) Curator 无真值，仅凭模型自评决定记忆内容，核心贡献的可信度缺乏独立测量；缺少 verifier/noisy-memory 消融及错误记忆传播分析。(2) 顺序学习容易受固定题目次序与任务内重复结构支配；缺少多种顺序、随机种子、置信区间以及污染审查。(3) 表中主结果虽覆盖多个模型任务，但 baseline 提示强度不一，工具使用、提示和记忆贡献难完全拆解；对 30 题 AIME 的百分比结论不确定性很大。(4) 更强任务上结果异质，小模型不稳定，不能支持“普遍提升”。(5) 缺少总调用次数、token 花费、延迟和缓存/检索成本的完整端到端比较。

可复现性：公开 arXiv 论文指向代码与原始输入输出；复现仍依赖闭源模型快照、prompt 版本、工具执行环境和序列次序。建议公开逐题 trajectory、memory snapshot 与精确 API/model version，明确异常/重试规则。

伦理与影响：无需用户数据即可自更新是优点；但错误记忆会跨请求传播，若用于医学/法律/金融等高风险用途需审计、撤销和人类监督。

建议给作者的问题：曲线在不同随机排列下是否稳健？可执行 checker 能否筛掉错误经验？收益扣除 curator 与 retrieval 的额外 token/调用后是否仍成立？

评分（模拟 ICML 风格）：技术质量 3/5；清晰度 4/5；重要性 3/5；新颖性 3/5；整体 Weak Reject，信心 4/5。若补上多顺序稳健性、独立验证器和成本账本，可能升级为 borderline；此意见是基于公开论文的模拟评审，不代表真实评审记录。

较早且影响明显的工作：Shinn et al., Reflexion: Language Agents with Verbal Reinforcement Learning (2023, [arXiv:2303.11366](https://arxiv.org/abs/2303.11366))。Dynamic Cheatsheet 的相关背景将语言 agent 的反思、文字反馈与跨轮次改进置于既有脉络中；Reflexion 已说明 verbal feedback 可让 agent 在后续尝试利用经验。本文沿着“经验外化为文本”方向推进到更显式的持续 cheatsheet、Cur 策展与可选 embedding retrieval，并用 benchmark 顺序流评估。这里的“影响”是从问题框架和论文引用关系作出的学术脉络判断，不声称 Reflexion 是唯一来源或作者动机。

较新引用作品：本次未能以可核验的公开证据确认一篇发表于该论文之后、并明确引用 arXiv:2504.07952 的论文。限定检索方式为可访问的 arxiv.org/abs 页面及公开元数据；abs 页面可核验焦点论文书目，但不提供完整后续引用图。Semantic Scholar API 曾返回 429，export.arxiv.org API DNS 不可用，且没有可核验的引用记录。因此遵守证据边界，不虚构 citing paper。此项标记为未解决，不表示实际上没有后续引用。

本判断沿用 grounding anchor：外部已有 test-time adaptation 与 verbal experience reuse 的相邻研究（部分解决），DC 的可辨识增量是黑盒 LLM 连续 query 的记忆策展流程及其有限任务证据；不把它包装成首次“经验学习”。

项目构想：Verified Memory Promotion（VMP）——让“成功示范”成为可审核的外部经验资产。如果 DC 已证明黑盒模型能够在有重复结构的序列任务中复用外部 memory，那么下一步可研究一条比“模型认为有用就记住”更严格的晋升流水线：任一候选 memory entry 必须包含适用条件、代码/步骤、来源 query、验证器结果、置信/有效期；用独立可执行 verifier 或第二模型审查通过后才进入共享库。

研究问题：相对于 DC-Cu / DC-RS，带验证的记忆晋升是否降低错误迁移，同时保留长序列收益？怎样的 verifier 组合（规则、执行环境、独立模型）能在低调用成本下挡住错误 memory？当任务分布改变时，memory 何时降权、隔离或撤回？

实验计划：在 Game of 24、方程平衡和多领域知识问题上对记忆验证做 factorial ablation；按输入次序与分布 shift 分层报告准确率、false-memory rate、记忆污染半衰期、token/latency 成本。用独立题目顺序重复，公开每个 memory edit 的 provenance。成功与否需实测，不能从当前论文外推为已有效。

它“只有因 DC 成功才值得做”的点在于：VMP 不再论证外部经验存储是否可能，而是将 DC 暴露的核心瓶颈——无 ground truth 的自我策展——设为主要可测科学对象。

产品 pitch：企业内部 SRE 事故复盘与 runbook 助手。服务台每天收到重复告警和相似故障描述；DC 风格的黑盒助手可以检索历史 ticket，策展经过工程师确认的短处置步骤，并对新的告警生成建议。付费实施的商业价值在于减少重复排查、把资深工程师的处理经验转为可检索资产，并可先以只读建议模式试点，不碰模型权重。

正面影响：缩短重复故障的平均诊断时间，值班知识不再只存在于少数工程师的记忆/聊天记录，减少人员交接损耗。

负面影响与缓解：错误或过期 runbook 会被重复推荐，自动执行时可引发停机或数据丢失；记忆也可能暴露内部架构、凭证或客户信息。必须先脱敏、仅由授权用户共享、附来源与有效期、用 staging 验证命令、人工审批高影响操作，并提供版本回滚/审计日志。DC 原论文没有验证此产品，也没有证明跨领域迁移；上述是产品设想而非事实主张。

玩具演示方案：只实现可验证的 Game of 24 memory 核心：每题先读已有“穷举策略”，否则用 Python 分数精确枚举并保存通用算法。这里的代码是本页为解释算法编写的示意实现，未在本任务环境实际运行；未借用或声称复用了论文仓库的实现代码。

from fractions import Fraction
from itertools import permutations, product

OPS = [('+', lambda a,b: a+b), ('-', lambda a,b: a-b),
       ('*', lambda a,b: a*b), ('/', lambda a,b: None if b == 0 else a/b)]

def solve24(nums):
    # 每个排列，五种二叉括号结构；Fraction 避免浮点误差
    a = tuple(map(Fraction, nums))
    for p in set(permutations(a)):
        x,y,z,w = p
        for (s1,f1),(s2,f2),(s3,f3) in product(OPS, repeat=3):
            def app(f,u,v):
                try: return f(u,v)
                except (ZeroDivisionError, TypeError): return None
            forms = [
              (app(f3, app(f2, app(f1,x,y), z), w), f"(({x}{s1}{y}){s2}{z}){s3}{w}"),
              (app(f3, app(f1,x,y), app(f2,z,w)), f"({x}{s1}{y}){s3}({z}{s2}{w})"),
              (app(f1,x, app(f3, app(f2,y,z), w)), f"{x}{s1}(({y}{s2}{z}){s3}{w})"),
              (app(f1,x, app(f2, y, app(f3,z,w))), f"{x}{s1}({y}{s2}({z}{s3}{w}))"),
              (app(f2, app(f1,x, app(f3,y,z)), w), f"({x}{s1}({y}{s3}{z})){s2}{w}"),
            ]
            for value, expr in forms:
                if value == 24: return expr
    return None

memory = None
for puzzle in [(3,3,8,8), (4,4,10,10)]:
    if memory is None: memory = "Use exact enumeration of permutations/operators; verify result."
    answer = solve24(puzzle)
    if answer: print(puzzle, answer)  # toy solver itself verifies exactly

与论文的关键区别：上面使用确定性 exhaustive solver 验证解答，不是让语言模型自评 memory 正确性；它演示“学到策略后复用”的一小段，不复现论文闭源 API 实验或总体指标。建议课堂 demo 展示首题调用求解器、随后命中 memory 的提示路径。

公开可核实信息（不做私人调查）：arXiv 论文作者栏/论文首页列出 Mirac Suzgun 与 Mert Yuksekgonul、Dan Jurafsky、James Zou 的 Stanford affiliation，Federico Bianchi 为 Together AI；焦点论文对应公开页面：[arXiv:2504.07952](https://arxiv.org/abs/2504.07952)。论文作者署名可说明本文研究团队的机构信息，但不足以推断完整履历、具体学位或所有曾任职单位。

作为“此前研究关联”，焦点论文参考文献列有 Suzgun 等人的语言推理、benchmark 与 metaprompting 工作，以及 memory / online learning 文献；这只能说明论文把这些工作作为相关学术背景，不能据此断言某作者个人动机或其项目经历直接导致本研究。

证据缺口：本次未独立核验个人主页、完整教育背景和职业时间线；“为什么他们做这个项目”属于作者内在动机，论文没有提供可证据化的个人叙述，故不猜测。严格遵守隐私边界：不联系作者，也不尝试查找私人资料。

论文自身的影响框架：将 DC 描述为一种不改权重、兼容黑盒 API 的 test-time memory 机制，可能减少重复错误与重复推理、提升多个任务准确率，并通过精简 memory 降低上下文膨胀。论文主要强调效率与能力增强，没有展开正式的社会影响或领域风险分析。

可能额外的正面影响（推断）：若以适当审计部署，经过验证的操作经验有望帮助专业人员传承隐性知识、减少重复性低价值工作；小团队可在不训练自有大模型的条件下复用任务经验。论文并未直接测量这些社会结果。

可能负面影响 / 被忽略项：(1) 错误 memory 会把一次幻觉变成未来反复输出的系统性偏差，且更难从单轮对话察觉；(2) 个人数据、客户对话或敏感操作写入持久存储后产生隐私、保留期限与删除权问题；(3) 由于收益依赖更强模型与 API，成本和能力优势可能集中在资源更充足组织；(4) 通过代码/工具调用记忆步骤可造成安全执行风险；(5) 使用方可能把“学习”误读成模型可自证可靠，导致高风险任务过度自动化。缓解应包括来源追踪、独立验证、权限隔离、过期策略、人类确认和可撤销操作。以上是风险分析，不是论文已经发生的影响。