SkillOpt: Executive Strategy for Self-Evolving Agent Skills

先给结论

研究动机：Skill 应该被训练，而不是只被写出来

传统路线里，skills 往往是人工写、LLM 一次性生成，或在失败后松散自我修订。SkillOpt 的观点是：如果 skill 是 agent 的程序性适配层，那么它本身就应该像外部状态一样被系统训练。

这个动机和 SkillsBench 直接衔接。SkillsBench 证明 curated Skills 在许多 deterministic tasks 上明显有用，但 self-generated Skills 平均不可靠；SkillOpt 接着问：能不能让一个强 optimizer model 离线训练 skill，并让 frozen target model 在部署时只吃一个 compact skill artifact？

数学表示及建模

论文把 skill 记为自然语言策略 s，它被插入 agent context 或作为 persistent procedural memory。给定 frozen target model M、harness h、任务 x 和 skill s，执行产生轨迹和分数：

训练 split 用来生成 candidate skills，selection split 用来选择/接受，test split 只做最终报告：

这里最重要的是 selection/test 的分离：SkillOpt 不是在训练集上看起来更好就发布，而是候选 skill 要先过 held-out selection gate，然后最终只在 disjoint test split 上报告。

算法流程/方法

一个优化 step 做什么

1. Forward pass：target model 用当前 skill 在训练 batch 上执行任务，记录 messages、tool calls、observations、command outputs、final answer、verifier feedback 等轨迹。
2. Minibatch reflection：optimizer model 分别分析失败轨迹和成功轨迹。失败分析补缺口，成功分析保留有效行为。
3. Patch proposals：输出结构化 edits，包括 append、insert_after、replace、delete。
4. Merge and rank：先合并 failure edits 和 success edits，再做 failure-prioritized final merge；按系统性影响、互补性、泛化性、可执行性排序。
5. Textual learning rate：每步最多保留前 L_t 个 edits，相当于文本空间步长控制。
6. Validation gate：candidate skill 在 selection split 上严格超过当前分数才接受；如果也是历史最佳，就导出为 best_skill.md。
7. Rejected buffer：被拒绝的 edits 不白费，会作为负反馈帮助后续 optimizer 避免重复错误。
8. Slow/meta update：epoch 边界比较同一批任务在前后 skill 下的表现，把跨 epoch 稳定经验写入 protected slow update；optimizer-side meta skill 只给训练时的 optimizer 看，不部署。

target model M: frozen, only executes tasks
optimizer model O: offline, edits skill
train split: produces rollout evidence
selection split: accepts/rejects candidate skills
test split: final reporting only
output: compact best_skill.md

实验设计

Baselines

论文比较 no skill、human skill、one-shot LLM skill、Trace2Skill、TextGrad、GEPA、EvoSkill。关键是所有方法在同一 target model、同一 held-out test split、同一 scorer 下比较，尽量隔离 adaptation procedure 的影响。

默认优化设置

实验结果：从有用到“可训练”

GPT-5.5 direct chat 主结果

跨模型和跨 harness

训练曲线与 ablation

这个 ablation 对你关心的 Drift Monitor 很重要：rejected buffer 和 slow/meta update 已经不是普通 prompt optimization 里的“改完就扔”，而是在训练过程中记录哪些编辑伤害了性能、哪些跨 epoch 经验应该被保护。

可迁移性、成本与学到的规则

Transfer 证据

最终 skill 很小，但训练成本不是零

这张表说明两个方向都要看：部署 artifact 很轻，但训练时 rollout + optimizer calls 可能很贵。它适合被复用、被审计、被发布到 skill library；如果是一次性任务，成本未必划算。

学到的规则长什么样

我的评论：SkillOpt 很强，但 verifier 决定它优化成什么

和 prompt optimization 的关系

你说 skill optimization 很像 prompt optimization，这篇论文其实给了更准确的边界：它确实是在文本空间优化，但优化对象不是一次性 prompt，而是可部署、可迁移、可审计的 persistent skill artifact。它相比普通 prompt optimization 多了几个状态面：skill history、accepted/rejected edits、selection gate、slow protected section、optimizer-side meta skill、跨 harness artifact。

和 SkillsBench 的阅读关系

SkillsBench: 证明 curated Skills 能显著提升，但 self-generated Skills 平均不可靠。
SkillOpt: 给出一个训练式方法，试图稳定地产生更好的 reusable Skills。
下一步问题: 如何证明 optimizer 没有过拟合 verifier，且人的体感/真实工作流没有变差？

对 Drift Monitor 的启发

SkillOpt 自带 validation gate，但它主要是 score gate。真正的 Drift Monitor 要比“selection score 提升了吗”更宽，因为 skill update 修改的是 agent 的未来行为分布。

Reference / Evidence