← 科研空间 首页
arXiv:2605.23904 · v2 中文深读 · 2026-10-23

SkillOpt: Executive Strategy for Self-Evolving Agent Skills

把 agent skill 当成冻结模型的外部训练状态:有限编辑、独立验证、失败记忆。

原版 PDF

版本注记

阅读依据:arXiv 官方记录当前 v2,检索日期 2026-10-23;官方题名为 SkillOpt: Executive Strategy for Self-Evolving Agent Skills。任务输入所称 “SkillOpt: Optimizing Executive Strategy for Skilled Agents” 与 arXiv 当前题名不一致,本页采用官方版本题名,不将两者误作相同的逐字标题。PDF 与记录:原版 PDF、arXiv 页面。

先讲一个故事

教学性场景(非论文记载):一位数据分析师让冻结的 AI 助手处理陌生公司的电子表格。它会写 Python、调用工具,也能给出听似合理的答案;但总漏掉空白目标单元格,或把 Excel 公式文本写进去,而评分器只认已经计算好的静态值。

给助手一段更长的万能提示,或许能补一两个漏洞;但新的任务又会暴露别的错误。分析师真正缺的不是“再换一个更聪明的模型”,而是一套能从重复成功与失败中改进、每次变更都可检查、并能带到另一套工具环境的工作规程。

SkillOpt 的转折是把规程从模型权重中剥离出来:冻结执行模型,把一个可读的 skill 文档当作可训练状态。优化器看批量轨迹提出有限的文本补丁;新版本必须在独立 selection split 上严格胜过旧版才可接受。这里的“训练”不是改权重,而是受门控的策略文档演化。

论文确实评估 SpreadsheetBench、Codex/Claude Code 与验证门;分析师和故障场景是帮助理解的教学故事,不是作者、受试者或论文实验记录。

故事与技术如何对应

故事元素 论文中的对象 事实边界
不变的执行助手 Frozen target model $M$ 与执行 harness $h$ 论文设定;模型与 harness 在优化期间固定。
工作规程 自然语言 skill $s$ 论文设定;部署时作为外置文本上下文。
故障复盘 trajectory batch 的 success/failure reflection 优化器据批次提炼模式,不应把单例写成普遍规则。
只改少量规则 编辑预算 $L_t$ 与 add/delete/replace patch 可类比文本学习率,但不是参数空间中的梯度。
上线前验收 held-out selection gate 只有验证分数严格上升才接受;最终 test 用于报告。

先给结论

52 / 52论文统计的 measured cells 中 best 或 tied-best;不是对所有可能任务的普遍保证
+23.5GPT-5.5 direct-chat 六任务平均准确率绝对百分点(相对 no skill)
0作者报告的部署期 optimizer 调用;昂贵优化在离线完成

关键贡献在闭环控制:把技能作为冻结 agent 的外部状态,以有限编辑、独立验证、失败记忆和跨 epoch 指引限制“反思式改写”的不稳定性。主要证据是 6 个 benchmark、7 个 target model、3 种 harness 的结果矩阵,以及消融和三类 transfer。

审慎解读:结果强,但它依赖任务存在足够可信的自动评分器、选择集规模与分割方式;文中指标多为准确率,没有普遍的跨随机种子不确定性区间。训练成本按 benchmark 差异显著(每 test-point 0.6M 至 46.4M training tokens),零部署调用不代表零总成本。

研究动机

常见 agent adaptation 的对象要么是模型权重(闭源时不可改、开源时成本高),要么是一次性 prompt/人工写好的 skill。前者重,后者难从运行后果中系统迭代。已有反馈式文本优化说明文本可以被改进;但 skill 是带工具流程、领域步骤、输出约束和失败规避信息的执行规程,作者要问的是:能否像优化器一样,有纪律地训练这份规程?

本文的新增主张需限定为“组织方式与证据范围”:受控训练外置 skill 的协议,不是第一个从执行轨迹反思、也不是第一个迭代改 prompt。外部已知边界见 Reference / Evidence 与内部 grounding note。

对比基线:human skill、one-shot LLM skill、Trace2Skill、TextGrad、GEPA,以及 Codex/Claude Code 场景中的 EvoSkill。论文声称在相同 target/scorer/test split 下比较;读者仍应区分不同格子可用的 baseline 数目与每格 oracle baseline。

数学表示及建模

给定冻结模型 $M$、harness $h$、任务 $x$ 与技能 $s$,执行产生轨迹和标量得分:

$$ (\tau(s), r(s)) = h(M,x,s), \qquad r(s)\in[0,1]. $$

训练轨迹只从 $D_{\mathrm{tr}}$ 产生候选技能;selection 用于挑选,不是最终报告集;test 在选定后报告:

$$ s^*_{\mathrm{sel}} = \arg\max_{s\in\mathcal{C}(D_{\mathrm{tr}})} \frac{1}{|D_{\mathrm{sel}}|}\sum_{x\in D_{\mathrm{sel}}} r(s), \qquad \mathrm{Test}(s^*_{\mathrm{sel}})=\frac{1}{|D_{\mathrm{test}}|}\sum_{x\in D_{\mathrm{test}}}r(s^*_{\mathrm{sel}}). $$

优化器状态包括 current/best skill、selection score cache、epoch 内 rejected-step buffer,以及可选的 slow/meta state。这里的 reward 是 benchmark/harness 产生的任务分数;理论上它是序数/评分代理,并不自动等于真实效用。严格门控仅接受 $score_{cand}>score_{cur}$,相同分数也拒绝。

算法流程 / 方法

SkillOpt 流程图:固定模型执行轨迹,反思汇总为有限技能补丁,验证集门控接受并保留拒绝编辑
论文 Figure 2(pipeline):rollout、反思、合并排序、受限编辑、selection gate,以及 epoch-wise slow/meta update。
  1. Rollout:用当前 skill 在 $D_{tr}$ 的批次运行冻结 target,记录输出、工具轨迹与 verifier 反馈。
  2. Reflection:成功和失败轨迹各自分成 minibatch,分别找可迁移的行为模式;失败优先纠错,成功用于保护有效行为。
  3. Merge & rank:去重/解决冲突,按预期效用排序,只保留不超过 $L_t$ 项;patch 可 append、insert、replace、delete。
  4. Gate:在固定 selection split 上测试候选;严格改善才替换当前 skill,最优者成为部署导出文件。
  5. Rejected buffer:拒绝的 patch 与分数下降原因回流到后续 optimizer prompt,避免重复犯错。
  6. Epoch slow/meta:比较相邻 epoch 对相同任务的表现,将稳定、长期规律写入受保护慢更新区;optimizer-only meta memory 不下发给执行模型。

$$ \text{rollout evidence} \to \text{bounded edits}(L_t) \to \text{validation gate} \to \text{accepted skill or negative feedback}. $$

深度学习类比只在“训练控制”层面成立:$L_t$ 像文本编辑步长、validation 像选择门、slow update 像较慢的跨轮更新;算法没有对 skill token 求梯度。部署只带出约 300–2,000 token 的 skill 工件。

实验设计

方法实现细节与补充流程来自 arXiv v2 附录。模型服务版本、成本口径、分数方差、完整数据许可等需以完整复现包核验;本文此页不声称已独立复跑。

实验结果

主结果:GPT-5.5 direct chat(百分比)

Benchmark No skill SkillOpt 绝对提升
SearchQA 77.7 87.3 +9.6
SpreadsheetBench 41.8 80.7 +38.9
OfficeQA 33.1 72.1 +39.0
DocVQA 78.8 91.2 +12.4
LiveMath 37.6 66.9 +29.3
ALFWorld 83.6 95.5 +11.9

六任务平均由 58.8 升至 82.3(+23.5 个百分点);论文用逐格最佳基线构造 oracle 比较,平均 76.9,因此 SkillOpt 高 5.4 点。该 oracle 是比较便利上界,不是一个实际训练的单一系统。52/52 指文中测量的 (model, benchmark, harness) 格子最佳或并列最佳。

Harness 与 transfer

三个 benchmark 的训练、selection 与 test 准确率随 epoch 变化曲线
论文 Figure 3:SpreadsheetBench、SearchQA、LiveMath 的 train rollout、selection-best 与 held-out test 随 epoch 变化。图本身展示三组趋势曲线,不单独证明统计显著性。

消融与成本

组件消融显示去掉 rejected buffer 后 SearchQA/Spreadsheet/LiveMath 分别从 87.1/77.5/61.3 降到 85.5/72.9/58.9;同时移除 meta 与 slow update 时 SpreadsheetBench 降至 55.0。batch-size 和 scheduler 的多组分数总体较稳定,但这组表格不足以替代多随机种子置信区间。

最终技能 379–1,995 tokens,接受编辑 1–4 次;每绝对 test point 的训练 token 从 SpreadsheetBench 0.6M 到 DocVQA 46.4M。compact deployment 是收益,训练开销与评估调用仍须算入总成本。

我的评论

审稿判断:工作清晰、实证面宽,推荐接收;但应要求作者弱化“普遍第一”的外推,明确每格比较集合、split/选择预算,并提供更多重复运行与方差。建议接收,信心中等(基于公开 v2 论文文本,未独立复现)。

One More Thing

SkillOpt 让“模型能力改进”成为一个可以版本控制和审计的文本对象:团队可以追踪每条规则为何加入、何时通过验证、适用于哪个 harness。这比纯粹把 agent 记忆藏在权重里更易治理;但审计的是文本,并不意味着行为因果已完全透明。下一步值得测量的不仅是更高准确率,还应包括技能规则冲突率、验证器偏差、迁移后安全回归与单位收益训练成本。

与站内 SkillsBench / GEPA 页的互启发细节见内部 `notes/cross-insights.md`;公开证据来源列于文末。

Other Discussion Roles / 其他讨论角色

七个 MIT MAS.S60 角色逐字 prompt 与基于公开证据的中文回应。

Scientific Peer Reviewer

The paper has not been published yet and is currently submitted to a top conference where you’ve been assigned as a peer reviewer. Complete a full review of the paper answering all prompts of the official review form of the top venue in this research area (e.g., NeurIPS). This includes recommending whether to accept or reject the paper.

评审框架与总结:按 NeurIPS 常见评审维度评价:soundness、presentation、significance、originality、limitations/ethics、reproducibility。本文问题清晰,skill 外部状态的受控迭代实现合理,6 benchmarks/7 models/3 harnesses 与消融/transfer 形成较宽证据。主要贡献是系统化训练协议,不是首个反思优化。

优点:target 与 harness 固定并以 held-out gate 选候选,拒绝提案能提供负反馈;最佳 skill 可检查,部署不再调用 optimizer。结果报告 no-skill、人工、one-shot 与多个优化基线;高增益出现在 SpreadsheetBench、OfficeQA 等程序性任务。消融也显示拒绝缓存/慢更新在若干设置有作用。

疑虑:52/52 的结论限定于已测格子与其对照;缺少更丰富的跨论文独立复现、多种子方差/显著性。选择集反复做接受决策,可能仍有 selection overfitting;数值提升是否来自特定评分器格式/预算需核查。训练 token 成本最高 46.4M / point,影响性价比。原创性应谨慎与 GEPA、轨迹反思区分。建议附完整 scorer、split 及每次 run 的日志/技能差分以便复现。

局限/伦理:论文承认依赖可靠评分与验证分割、训练成本、单技能不适合多异质域、跨域迁移需谨慎。安全方面,外置技能更易审计,但不保证没有有害或被污染规则;工具操作失败的后果需领域风控。

总评:优点略胜,建议 Accept(弱接收),信心 3/5(中等)。若复审,优先要求澄清 split 重用、方差与 token 预算,而非声称已证明跨所有 agent 的普遍优势。

Archaeologist

This paper was found buried under ground in the desert. You’re an archeologist who must determine where this paper sits in the context of previous and subsequent work. Find and report on one older paper cited within the current paper that substantially influenced the current paper and one newer paper that cites this current paper.

较早且有实质影响:ReAct。论文 references 引用 Yao et al. (2022), ReAct: Synergizing Reasoning and Acting in Language Models(arXiv:2210.03629)。该工作让 LLM 以交错 reasoning/action 轨迹与环境交互,并已覆盖 ALFWorld 等决策任务;SkillOpt 继承“从 agent 实际轨迹获取反馈”的思想,进一步把执行规程外化为可优化 skill,目标不是只生成一次动作序列。其摘要已通过 arXiv 公开页检索核验。

较新引用本文的工作:截至 2026-10-23,本次可直接核实的公开证据中,未找到一篇可确认发表时间晚于本文且明确引用 arXiv:2605.23904 的后续论文。本文 v2 于 2026-05-25 上传;arXiv 官方页能核对版本与摘要,但未提供可用的完整引用后继清单。Semantic Scholar API 曾返回 429,export.arxiv.org DNS 也不可用;故不虚构“后继论文”。此处结论是“当前检索边界内未核实”,并非断言不存在引用者。

历史定位:ReAct 的交互轨迹、反思式 prompt evolution(如 GEPA)分别构成相邻谱系;SkillOpt 把目标收敛到有 selection gate 与受限操作的单份 skill artifact。尚待后续独立工作验证此配方是否超越作者自己的 benchmark 组合。

Academic Researcher

You’re a researcher who is working on a new project in this area. Propose an imaginary follow-up project not just based on the current but only possible due to the existence and success of the current paper.

设想项目:Skill Passport——技能工件的可迁移性与风险护照。SkillOpt 展示同一文本 artifact 可以在多模型和两个工具 harness 间转移、且通过结构化 gate 逐步演化;如果这类可移植性成立,下一步才值得把 skill 当作软件供应链里的可版本化组件,为其建立来源、适用域、验证记录与失效边界。这不是论文已提出/实现的功能。

构建公开基准:每项 skill 带来源轨迹摘要、数据域、模型/harness 兼容声明、版本 diff、已测成功率及危险操作;对同一 skill 做跨组织复用、OOD 数据、工具 API 变更、评分器扰动与提示注入测试。训练时除 accuracy 外加入成本、违反约束和人工可读性效用;在独立 holdout 做批准。若两版都不显著优于基线或风险上升,则停止晋级。

“仅因本文成功才可能”的关键是已有可观察的跨 harness skill-transfer 现象与受门控 artifact 更新接口,项目可以把跨环境迁移从单次实验提升为 artifact 级协议。风险:过强 provenance 规范会增加部署负担;验证分数也不能充分覆盖稀有安全故障。

Industry Practitioner

You work at a company or organization developing an application or product of your choice (that has not already been suggested in a prior session). Bring a convincing pitch for why you should be paid to implement the method in the paper, and discuss at least one positive and negative impact of this application.

应用提案(设想):给企业内部财务运营团队做“表格自动化技能维护服务”。客户已经使用 agent 操作工作簿,但不断遇到公式、空值、跨 sheet 与验收格式错误;团队购买的是受控维护与评估流水线,而不是一个通用聊天机器人。

为何值得付费:SkillOpt 的离线优化能从失败轨迹归纳可复用流程;验证门让错误补丁不自动进入生产,skill 文本便于财务审计;同一 skill 可在受支持的模型/harness 上做迁移测试。交付物包括沙箱回放、数据脱敏、冻结测试集、版本审批和回滚机制。实际 ROI 必须用客户自有任务验证,不能直接把论文的 +59.7 transfer 当商业承诺。

正面影响:减少反复人工修复与格式错误,让团队对自动化规则有可读记录。负面影响:工作簿可能含薪资、客户或财务隐私,离线轨迹可能泄漏;错误 skill 仍可能写坏账表或形成隐蔽偏差。须经权限最小化、脱敏训练、只读回放与人工批准,不可仅凭 held-out accuracy 自动授权真实写入。

Hacker

You’re a hacker who needs a demo of this paper ASAP. Implement a small part or simplified version of the paper on a small dataset or toy problem. Prepare to share the core code of the algorithm to the class and demo your implementation. Do not simply download and run an existing implementation – though you are welcome to use (and give credit to) an existing implementation for “backbone” code.

Toy demo(已执行,极简教学实现,非论文复现):使用合成字段题,初始 skill 读取 DRAFT 字段,任务答案由 FINAL 字段决定。自写的 rule-based proposer 从训练失败提出一个 patch(优先读取 FINAL);在单条固定 selection 题上严格提升才接受。执行输出为 test accuracy 0%→100%(1 条合成测试题),无拒绝编辑。这个微型数字只证明代码路径可运行,不具统计意义。

def optimize(skill, train, selection, propose, score):
    current = score(skill, selection)
    best = skill
    rejected = []
    for batch in batches(train):
        edits = propose(skill, batch, rejected)
        candidate = apply_bounded_patch(skill, edits, budget=1)
        candidate_score = score(candidate, selection)
        if candidate_score > current:
            skill, current = candidate, candidate_score
            best = skill
        else:
            rejected.append((edits, candidate_score - current))
    return best, rejected

本页原创 toy code 实际运行了 bounded patch + strict held-out gate;因为候选只会改善 selection,拒绝缓冲路径没有触发。它省略论文里的成功/失败 minibatch、hierarchical merge、epoch slow/meta update 与可靠的统计评估,不是作者官方实现;没有下载或复用任何 backbone。单样本 test 的完美分数不可外推。真实评估需扩大独立数据并重复多个 seed,避免玩具集/selection 过拟合。

Private Investigator

You are a detective who needs to run a background check on one of the paper’s authors. Where have they worked? What did they study? What previous projects might have led to working on this one? What motivated them to work on this project? Feel free to contact the authors, but remember to be courteous, polite, and on-topic.

本文作者共 14 位;arXiv 官方页列出 Yifan Yang 等人及投稿时间。仅凭 arXiv author list 不足以可靠地归属特定个人的雇主、学历、历史项目或个人动机。本次不将同名搜索结果拼接为作者履历,也不推测个人动机;没有足够可核验的公开来源时应留白,而不是用论文主题反推生平。

可以客观确认的项目脉络仅限论文与公开引文:工作讨论 agent skills、轨迹反思和 prompt optimization,并引用 ReAct 等先前研究。这说明研究方向邻接,不等于作者曾参与那些项目。若未来要补充,需要逐位关联官方机构主页、作者 ORCID 或本人公开简历,并标注出处与更新日期。

未联系作者;原 prompt 中邀请联系不代表已经获准产生外部联络副作用。

Social Impact Assessor

Identify how this paper self-assesses its (likely positive) impact on the world. Have any additional positive social impacts left out? What are possible negative social impacts that were overlooked or omitted?

论文自身 framing:论文强调无需改权重、skill 可读且可审计、部署期不需 optimizer 调用,借此降低领域适配门槛并可能让专业规则跨模型/harness 复用。附录 limitations 承认可靠评分器与 holdout 的需要、训练成本、单一技能对异质任务的局限,以及跨域转移前应验证;这比只写正面 impact 更谨慎。

潜在正向影响:把 agent 流程知识显式化,利于专家审阅、版本管理与撤回;更小的模型可能借到高质量程序指引,降低某些场景的计算需求(论文显示小模型也有分数增益,但未直接测量能耗)。

未充分展开的风险:评分器可被优化到 benchmark 漏洞而非用户真实需求;技能从有偏轨迹学习会把偏见变成可重复规程;共享技能可能传播错误/恶意操作;离线 rollouts 可能带入敏感数据;能力迁移会降低高风险自动化的部署门槛。外置可读不是安全证明,validation accuracy 也不覆盖稀有伤害事件。

建议:对高影响任务采用权限隔离、隐私脱敏、独立安全评测、异常行为审计、版本签名与人工批准,并将拒绝/事故样本纳入负向反馈但不泄露敏感内容。

Reference / Evidence

SkillOpt(官方记录与原版)
arXiv:2605.23904 · PDF · v1 2026-05-22 / v2 2026-05-25;检索 2026-10-23。
Yao et al. (2022), ReAct
arXiv:2210.03629。检索官方 abstract,用于确认轨迹交互的既有边界。
Agrawal et al., GEPA
arXiv:2507.19457。用于确认 feedback-driven reflective prompt evolution 的既有边界。