LatentSkill：从上下文文本技能到权重空间潜在技能

先讲一个故事：给机器人一张“操作手册”，还是装上熟练的手？

教学性场景（非论文记载）：设想家用机器人小岚要在陌生厨房里完成“把杯子放进柜子”。团队给它一份文本技能：先定位柜门，再避开桌沿，最后确认杯子已放稳。每一步决策都把整段手册塞进提示词，手册越长，任务上下文越拥挤；删短手册又可能丢掉关键程序。起初团队以为只要继续压缩文字就能解决，但问题不只是字数：机器人必须反复从描述中重建动作策略。转折是把技能交给一个训练好的编译器，生成可以按需挂载的 LoRA 模块，让程序以参数形式参与推理，而不是每次都作为长文本重读。

故事与技术如何对应：小岚与厨房任务是教学类比；论文中的事实是 LatentSkill 用 Transformer hypernetwork 将文本 skill 映射为 LoRA adapter，并在 ALFWorld、Search-QA 评估性能与 token 开销。类比只解释“存储/调用位置”的变化，不意味着论文测试了真实机器人或证明技能无损转换。

先给结论：LatentSkill 真正改变了 skill 的“存储位置”

核心命题：不要在 agent 每个环境 step 的 prompt 中重复插入 skill 文本；用 hypernetwork 把 skill document 编译为 plug-and-play LoRA adapter，让 skill knowledge 存进 weight space。

效率
ALFWorld seen/unseen 平均成功率 74.3/69.4%，比同 skill 的 In-Context Skill 高 21.4/13.4 个百分点，同时 prefill token 降低 64.1%。

搜索问答
Search-QA 平均 EM 35.6%，比 In-Context Skill 高 3.0 个百分点，skill-token overhead 降低 72.2%。

结构
生成的 LoRA 在 MDS 中按领域聚类，OOD 的 Code、Finance、Writing 也形成可分离结构。

可控与组合
LoRA scaling coefficient α 出现 inverted-U；对齐的 skill adapter 可以做参数空间 arithmetic。

边界：论文证明的是在两个 benchmark、Qwen3-8B、给定 skill library 与匹配规则下的有效性，不是证明“任何文本 skill 都能无损编译”，也不是证明 weight-space skill 绝对不可提取。

Motivation — 论文 Figure：LatentSkill 相对于 in-context skill 的两个主张——零 skill token 的模块化，以及结构化/可控/可组合的 skill weight space。

研究动机：为什么把 skill 从 context 移到 weight？

传统 agent skill 是一段 Markdown 或自然语言 procedure。模型每次执行动作都要把它放进上下文。长轨迹中，这带来三类问题：

重复 token 成本：skill text 在每一步被 prefill。
注意力竞争：技能、当前状态、工具结果和恶意指令共处一个 prompt。
明文暴露：skill 可以被 extraction prompt 直接要求模型复述。

LatentSkill 的答案不是把文字简单压缩成一个 embedding，而是让 compiler 生成可以直接作用于 backbone 的 LoRA 参数增量。这样推理时只输入 task history，不需重复放 skill 原文；skill 仍可独立加载、缩放和组合。

关键比较要公平：论文的 In-Context Skill 使用与 LatentSkill 相同的 skill 内容；主要差异是 storage format：一个放 prompt，一个放 LoRA weight。

数学与方法：文本如何变成 latent skill？

Method overview — 论文 Figure：skill document 经过 hypernetwork 生成 LoRA updates；compiler 先做 document pretraining，再用 agent trajectory SFT，推理时支持单 skill 注入与组合。

1. Latent skill 定义

给定文本 skill $s$，hypernetwork $G_\phi$ 输出 LoRA update：

$$\Delta_s=G_\phi(s).$$

挂载 skill 后，模型不再以 $s$ 为每步输入，而是：

$$p_{\theta,\phi}(y_t\mid h_t,s)=p_{\theta\oplus\alpha\Delta_s}(y_t\mid h_t).$$

$h_t$ 是当前 task history，$\alpha$ 是注入强度，$\oplus$ 表示 LoRA 参数增量。

2. LoRA 形式

$$W'=W+\frac{\alpha}{r}B_sA_s,$$

完整 latent skill 是所有目标 module 上的增量集合 $\Delta_s=\{\Delta W_s^{(m)}\}_{m\in\mathcal M}$。因此 skill 不是一个单向量，而是一组可挂载到多层 attention/MLP 的低秩更新。

3. Skill composition

$$\Delta_{\mathcal K}=\sum_{k\in\mathcal K}\alpha_k\mathcal C[k].$$

$\mathcal C[k]$ 是 skill library 中的 adapter。加法只有在 skill components 的方向足够对齐时才可靠；冲突或不兼容的 skill 不能简单叠加。

训练流程：compiler 不是凭空学出来的

171K GitHub skill documents ≈ 300M tokens │ ▼ Skill document pretraining 让 Gφ 从文本生成可用的 LoRA update │ ▼ ALFWorld + Search-QA teacher trajectories │ ▼ Trajectory-supervised fine-tuning 让 latent skill 真正支持 agent 行为 │ ▼ 推理时：加载 / 缩放 α / 组合 adapters

Document pretraining

使用约 171K 去重后的 GitHub skill documents，总计约 300M tokens。pretraining 目标是让生成的 adapter 在 skill document 相关 supervision 上形成有用的行为。

$$\mathcal L_{\mathrm{pre}}=-\sum_{i,j}\log p_{\theta\oplus\alpha\Delta_i^{\mathrm{pre}}}(z_{i,j}\mid q_i,z_{i,<j}).$$

Trajectory SFT

训练数据来自 ALFWorld 和 Search-QA teacher trajectories，使用 5 个 ALFWorld skill 与 3 个 Search-QA skill。

$$\mathcal L_{\mathrm{sft}}=-\sum_{i,t,j}\log p_{\theta\oplus\alpha\Delta_i^{\mathrm{sft}}}(y^\star_{i,t,j}\mid h_{i,t},y^\star_{i,t,<j}).$$

这一步很关键：compiler 不仅要“表达 skill 文本”，还要使挂载后的 Qwen3-8B 在真实 agent history 上采取更好的动作。

实验环境

冻结 backbone：Qwen3-8B。ALFWorld 包含 Pick、Look、Clean、Heat、Cool、Pick2 六类 household task。Search-QA 包含 NQ、TriviaQA、PopQA、HotpotQA、2WikiMultihopQA、MuSiQue、Bamboogle 七个数据集；NQ 和 HotpotQA 用于训练，其余五个作为 OOD evaluation。

主实验：性能与 token efficiency

ALFWorld

方法	Seen Avg ↑	Seen Steps ↓	Seen Prefill k	Seen Decode k	Unseen Avg ↑	Unseen Steps ↓	Unseen Prefill k	Unseen Decode k
Vanilla	43.6	35.0	0.44	0.55	47.0	34.9	0.44	0.62
In-Context Skill	52.9	30.8	1.21	0.50	56.0	29.7	1.23	0.61
LatentSkill	74.3	28.4	0.44	0.34	69.4	31.4	0.44	0.51

六类 ALFWorld task 的平均结果；论文还提供逐任务 breakdown。LatentSkill 对 In-Context Skill 的 seen/unseen 平均提升是 21.4/13.4 个百分点。

逐任务最醒目的 unseen Pick2 是 70.6%，比第二名高 41.2 个百分点；但不同 task 的最佳 α 不一致，不能把一个全局 α 当成普遍最优。

Search-QA

方法	NQ	Trivia	PopQA	Hotpot	2Wiki	MuSiQue	Bamboo	Avg ↑	Cost k ↓
Vanilla	25.2	50.6	35.2	26.2	26.8	4.2	28.8	28.1	0.24
RAG	39.0	64.0	45.0	32.4	21.2	6.8	27.2	34.4	0.89
In-Context Skill	27.2	56.4	33.0	30.2	39.8	7.6	38.4	32.6	1.10
LatentSkill	36.2	57.6	41.0	39.6	32.0	9.8	25.6	35.6	0.31

Search-QA 的平均 exact match；LatentSkill 在 NQ/Hotpot/多跳任务上有优势，但不是每个数据集都最佳。

三种 latent weight space 性质

Structured：语义几何

MDS of LoRA weights — 论文 Figure：in-domain ALFWorld/Search 与 OOD Code/Finance/Writing skill LoRA 的 MDS 可视化。

8 个 in-domain skill 在 pretrain 阶段形成 ALFWorld 与 Search 两个 domain cluster；inter-cluster distance 为 0.0887，within-domain similarity 0.982，高于 cross-domain 0.910。SFT 后距离变为 0.0704，下降 20.6%，说明共享 agent behavior 增强，但 skill-specific structure 尚存。OOD 的 Code、Finance、Writing 也形成分离 cluster，不过这是几何相似性证据，不是证明模型理解了每个领域的全部语义。

Controllable：α 是连续旋钮

Scale performance — 论文 Figure：ALFWorld 中 LoRA injection coefficient α 与性能的 inverted-U 曲线。

Seen 平均成功率从 α=0 的 43.57% 上升到 α=0.6 的 74.29%，但 α=1.2 崩到 22.86%；unseen 在 α=0.5 达到 70.90%，α=1.2 降到 8.21%。这说明 adapter 不是越强越好，过度注入会破坏 backbone。不同 task 的最优 α 不同，提示需要 task-conditional scaling。

Composable：参数空间 arithmetic

论文在 Look task 的 31 episodes 上比较五种 composition configuration。重要边界是：加法不是免费魔法；若 skill components 在 LoRA 空间中方向不对齐，组合可能互相干扰。这个结论依赖有限的 Look case study，尚未等价于通用 compositionality。

Security / sensitivity

条件	ALFWorld In-context	ALFWorld Latent	Search In-context	Search Latent
Base	52.9	74.3	32.6	35.6
Paraphrase	50.7	67.9	33.2	34.0
Plaintext	50.0	74.3	32.4	34.4
Reorder	50.7	69.3	32.4	33.6
Noise	47.9	71.4	31.7	33.7
Hijack	8.57	38.6	23.5	34.0
Extract	48.6	70.0	21.3	29.3

LatentSkill 对四类 skill text perturbation 以及 Hijack/Extract attack 保持更强结果；这支持“减少 prompt-level exposure”，但不能推出 adapter 机密性保证。

安全解释：skill 从 prompt 移到 weight 后，攻击者确实难以直接读取原文，但模型输出、adapter 文件、训练数据和行为反演仍可能泄漏信息；“less exposed”不等于“private”。

Submodule ablation

Submodule discriminability — 论文 Figure：7 个 LoRA injection position 的 within-domain 与 cross-domain cosine similarity gap。

attn_o 与 mlp_down 的 discriminability gap 明显更高，pretrain 分别约 0.056/0.105，SFT 约 0.050/0.094。只注入这两个位置的 full:o+d 在 seen 为 59.3（full 63.6），unseen 为 63.4（full 61.2），说明 2/7 的位置可能保留大部分能力并改善泛化；但这仍是一个 backbone、一个 benchmark 的结构消融。

我的评论：论文最强的地方与必须保留的怀疑

强证据

In-Context Skill 是直接 comparator，技能内容相同，storage format 差异清楚。
seen 与 unseen 同时提升，且 token cost 下降，避免只用 accuracy 讲故事。
α sweep、OOD MDS、扰动/攻击、composition 和 submodule ablation 把“latent space 有结构”拆成多个可观察命题。
公开 GitHub skill document pretraining 和 trajectory SFT 让方法具备一定可复现性。

最该怀疑的地方

数据与技能匹配：ALFWorld/Search-QA 只用了 5+3 个 skill，skill-to-task matching 规则对结果可能很关键。
公平性：LatentSkill 使用 compiler SFT；In-Context baseline 虽使用同内容，但不一定拥有同等程度的格式/检索/长度优化。
泛化：只有 Qwen3-8B 冻结 backbone；未证明换模型、换 tokenizer、换 agent framework 后仍成立。
统计：没有在主表中系统呈现多 seed confidence intervals。
安全：Hijack/Extract 是有限攻击模板，不能推出权重空间 skill 的安全或保密保证。
组合：参数加法案例较小；不同 skill 的冲突、顺序、归一化与动态路由仍未解决。

总判断：LatentSkill 的可信贡献是“skill storage / execution substrate 的迁移”：把显式 procedure 变成可装载参数模块，并在两个 agent benchmark 上同时实现性能和上下文效率收益。它不是证明 LLM 已经获得稳定、可解释、不会泄漏的永久技能。

One More Thing：技能从“内容”变成“可部署制品”

LatentSkill 的关键变化不只是把 prompt token 省下来，而是让 skill 生命周期靠近软件制品：编译成 adapter、挂载/卸载、调节强度并尝试组合。这让评估问题也随之改变——除了“任务成功率是否提升”，还要问 adapter 的版本、兼容性、回滚、来源与行为审计如何管理。该论文展示了可缩放和有限组合的实验证据，但尚未给出成熟的技能包治理或跨模型兼容方案。

跨论文洞见：技能优化正在形成三个互补层次

SkillsBench / Agent Skills 关注技能内容与任务表现的评测；LatentSkill 则把关注点推进到同一类能力如何被编码、装载与执行。两者分别对应“技能是否有用”与“技能如何成为运行时模块”，不能把某一篇的结果当成另一篇的验证。
SkillOpt: Executive Strategy 将技能优化置于策略/决策层面；与 LatentSkill 的参数化存储视角并读，可区分“选择何种策略”与“如何把已学程序封装为可调用能力”。这些是互补设计维度，不代表已有统一系统或直接比较实验。
Dynamic Cheatsheet 延续上下文内动态维护知识的路线；与 LatentSkill 对照，呈现了显式、可编辑文本状态与隐式、低 token 的权重模块之间的工程取舍。当前页面仅作概念对照，未核对两者在同一任务/模型上的优劣。

证据边界自查：上面的跨论文关系是按问题层次作分析性归纳，并非论文间引用关系、联合实验或性能排名。LatentSkill 的核心实证仍限于论文报告的 Qwen3-8B 与两个 benchmark；故事是教学场景；没有把 adapter 保密性、普适迁移、真实产品成熟度写成已证事实。站内链接提供延伸阅读入口，具体对照须回到各自页面的公开证据核验。

Other Discussion Roles / 其他讨论角色

Scientific Peer Reviewer

The paper has not been published yet and is currently submitted to a top conference where you’ve been assigned as a peer reviewer. Complete a full review of the paper answering all prompts of the official review form of the top venue in this research area (e.g., NeurIPS). This includes recommending whether to accept or reject the paper.

Summary：LatentSkill 用 Transformer hypernetwork 把文本 skill 编译为可插拔 LoRA adapter，使 skill 从 prompt/context space 迁移到 weight space。Qwen3-8B 在 ALFWorld 与 Search-QA 上相对相同 skill 的 In-context Skill baseline 同时提高平均性能、减少 prefill token，并分析了结构化几何、注入强度和 skill arithmetic。

Quality：对照设计很强：两种存储方式使用同一 skill 内容，且同时报告 seen/unseen、逐任务结果、token cost、扰动与攻击。局限是主要结果规模较小（ALFWorld 六类、Search-QA 七数据集），缺少多 backbone、多随机种子和对 hypernetwork 失败样本的报告。Clarity：方法图、LoRA 公式和三阶段训练流程清楚；需要更明确区分“skill text 不暴露”与“模型行为不可提取”，也应解释 Search-QA cost 与 ALFWorld prefill/decode 的口径差异。Significance：若结果可复现，权重空间 skill 是降低 agent 上下文开销、模块化装载和组合能力的有价值方向。Originality：Hypernetwork-generated LoRA、skill document pretraining、trajectory SFT 和 inference-time composition 的组合具有新颖性。

主要疑问：性能增益来自 latent storage 还是训练数据/技能匹配差异？同一个 skill 若用等 token budget 的强压缩文本，结论是否仍成立？α 是否需要任务级调参？OOD skill 的 MDS 几何是否在换 backbone 后保持？安全部分只测两种攻击，不能推出一般的 confidentiality。

Recommendation：Weak Accept，confidence medium。论文的核心比较和效率证据足以支持发表，但应收紧“less exposed”表述，补充 seed variance、不同 LoRA target modules 的统计，以及从输出中提取 skill 的更强攻击。

Archaeologist

This paper was found buried under ground in the desert. You’re an archeologist who must determine where this paper sits in the context of previous and subsequent work. Find and report on one older paper cited within the current paper that substantially influenced the current paper and one newer paper that cites this current paper.

Older influence：Reflexion: Language Agents with Verbal Reinforcement Learning（Shinn et al., 2023）是本文 skill-agent 传统的重要前代。Reflexion 把失败轨迹总结成文本反思并在后续 prompt 中复用；LatentSkill 保留“从经验形成可复用行为程序”的思想，但把显式文本 skill 编译成 LoRA 权重，避免每个环境 step 重新注入长文本。

另一个方法谱系是 hypernetwork/LoRA generation：本文不是对 backbone 做逐任务全量微调，而是学习一个 skill compiler，使任意文本 skill 经过前向映射即可得到 adapter。其历史位置是从“文本记忆/上下文检索”到“参数化、可组合行为模块”的中间桥梁。

Newer citation：这篇论文在当前检索日（2026-08-07）刚于 2026-06-04 发布，尚未能从公开 Semantic Scholar/arXiv 记录确认一个可靠的后续引用论文。因此我不虚构 newer citing paper。这个角色的后半项证据目前是明确缺失，而不是把相关论文冒充引用本文。

Academic Researcher

You’re a researcher who is working on a new project in this area. Propose an imaginary follow-up project not just based on the current but only possible due to the existence and success of the current paper.

项目：Skill Compiler with Verifier-Guided Online Routing。LatentSkill 成功证明文本 skill 可以变成具有语义几何、连续注入强度和参数空间组合的 LoRA；因此下一步不再为每个任务手工选择 skill 或固定 α，而是让 agent 根据当前轨迹和 verifier feedback 在线选择 skill、α、组合顺序和是否回退到文本 skill。

系统维护一个 skill-LoRA library，每个 adapter 附带能力向量、适用任务分布、不确定性和安全标签。router 先用轻量 probe 估计任务类型，再以 bandit/检索方式选择 adapter；失败时只调整 α 或替换一个 skill，而不是重训主模型。组合器检测 LoRA 子空间的 alignment，只有满足相似方向/低冲突条件才做参数加法。

最小验证：在 ALFWorld unseen 的六类任务上，固定总 inference token 与相同 skill library，比较固定 α、oracle task-specific α、在线 verifier-guided routing。主要指标是成功率、失败恢复率、每 episode prefill/decode、skill conflict rate 与攻击后保持率。只有在线 routing 在不看最终答案时接近 oracle，且比固定 α 稳定，才值得扩展到跨 benchmark。

Industry Practitioner

You work at a company or organization developing an application or product of your choice (that has not already been suggested in a prior session). Bring a convincing pitch for why you should be paid to implement the method in the paper, and discuss at least one positive and negative impact of this application.

产品提案：企业级“Agent Skill Runtime”。为客服、数据分析和 IT 运维团队提供一个 skill registry：业务专家提交 Markdown procedure，compiler 将其转成版本化 LoRA skill；运行时按任务挂载、调节 α、组合多个 skill，并记录每次 adapter、base model、prompt、工具调用和 verifier 结果。

付费价值在于：长 procedure 不再每一步占用上下文，降低 prefill 成本和延迟；skill 可灰度发布、回滚和 A/B 测试；多个部门可以复用经过验证的模块。LatentSkill 的 ALFWorld 结果显示，平均 success 从 52.9 提升到 74.3（seen），prefill 从 30.8k 降到 28.4k；Search-QA 平均 EM 从 32.6 提升到 35.6。

正面影响：降低企业 agent 的 token 成本，让领域专家能把流程变成可复用能力模块。负面影响：skill 被写入权重后更难审计和逐字撤回；错误 procedure 可能被放大到多个任务；adapter 之间可能冲突；LoRA 也可能泄漏敏感业务规律。上线必须有离线回放、held-out task、adapter provenance、权限隔离、输出审计、红队 prompt injection/skill extraction 测试和一键回滚。

Hacker

You’re a hacker who needs a demo of this paper ASAP. Implement a small part or simplified version of the paper on a small dataset or toy problem. Prepare to share the core code of the algorithm to the class and demo your implementation. Do not simply download and run an existing implementation – though you are welcome to use (and give credit to) an existing implementation for “backbone” code.

我会做一个不依赖大模型的机制 demo：把每个文本 skill 映射为一个低秩增量矩阵，基础模型是二维线性策略；skill compiler 是固定的 toy hypernetwork。把 skill text 的词袋向量映射成 $B_s,A_s$，并用 $W'=W+\alpha B_sA_s/r$ 执行。分别比较 prompt-style（每次输入 skill vector）和 weight-style（预先生成 adapter、每步只输入 task state）。

def compile_skill(x, rank=2):
    B = H_B @ x          # hypernetwork output
    A = H_A @ x
    return B.reshape(d,rank), A.reshape(rank,d)

def run(task, adapter, alpha):
    W = W0 + alpha * adapter.B @ adapter.A / adapter.rank
    return argmax(W @ task)

# composition, only when adapters are aligned
composed = a_skill + b_skill

演示应记录三件事：相同 task 下 weight-style 不重复支付 skill token；扫 $α$ 出现 inverted-U；两个同方向 skill 的 adapter 加法有效，而冲突 skill 的加法会降低准确率。这个 toy 不是 LatentSkill 训练复现：没有 Qwen3-8B、171K GitHub documents、trajectory SFT 或 ALFWorld 环境，只验证 compiler→LoRA→mount→composition 的因果链。

Private Investigator

You are a detective who needs to run a background check on one of the paper’s authors. Where have they worked? What did they study? What previous projects might have led to working on this one? What motivated them to work on this project? Feel free to contact the authors, but remember to be courteous, polite, and on-topic.

公开 arXiv 元数据显示，作者包括 Aofan Yu、Chenyu Zhou、Tianyi Xu、Zihan Guo、Rong Shan、Zhihui Fu、Jun Wang、Weiwen Liu、Yong Yu、Weinan Zhang、Jianghao Lin。论文和仓库把研究群体定位在 LLM agents、skill systems、Qwen、LoRA 与 hypernetwork 交叉处。

从公开论文谱系可推断的研究路径是：agent skill 系统先把程序性知识保存为 prompt/text；Reflexion 等工作证明语言反馈可改善后续行动；LoRA/parameter-efficient tuning 提供低成本模块化权重；hypernetwork 则允许“输入一个 skill document，直接生成 adapter”。LatentSkill 把这些路线接成一个 compiler。

“动机”只能做研究解释而非私人事实：每 step 注入长 skill 会产生 token overhead，且 plaintext skill 容易被 prompt-level extraction 读取；作者因此探索把 skill 放到 weight space。本文没有提供足够公开个人履历来支持更具体的工作经历判断，我也没有联系作者。

Social Impact Assessor

Identify how this paper self-assesses its (likely positive) impact on the world. Have any additional positive social impacts left out? What are possible negative social impacts that were overlooked or omitted?

论文自我评价：LatentSkill 强调减少 agent 的 skill-token overhead、支持 plug-and-play modularity、通过 weight space 组合能力，并声称 skill plaintext 不再直接暴露。对企业和长轨迹 agent，这意味着更低的 prefill 成本、更短的上下文和更容易复用的行为模块。

额外正面影响：领域专家可以把流程封装为可版本化 adapter；小模型可通过外挂 skill 获得特定行为；权重模块和 base model 分离，有利于能力市场、灰度发布、可回滚和跨任务复用。若减少 token 和环境 steps，也可能降低推理能耗。

负面与遗漏：“less exposed”不是“不可提取”：模型输出仍可能泄漏 skill 内容，且权重 adapter 可能包含敏感企业知识。skill 写错后会被批量复用；参数空间 arithmetic 可能产生不可预测行为；多个 adapter 的组合会扩大攻击面。测试时注入还可能改变安全边界，prompt hijacking 虽变难但不等于消失。基础设施方面，训练 hypernetwork 需要大规模 GitHub 数据和算力，可能带来版权、许可证和数据治理问题。还应讨论 adapter 的责任归属、撤回权、模型行为审计和高风险领域的人类批准。

Reference / Evidence

本页实际检索并核验了 arXiv v1、TeX source、官方 GitHub 仓库（commit b5a91141a4c435fdf14272eee1d6f89ab20d2e5e）和论文中公开引用。当前未确认可靠的后续 citing paper，因此 Archaeologist 角色明确标注证据缺失，没有虚构引用。

覆盖边界：正文方法、全部 5 幅图、主要结果表、α 分析、扰动/攻击、低秩与 submodule appendix 证据、训练设置和七个讨论角色均已纳入。没有声称独立重跑 Qwen3-8B 或验证所有 adapter composition。