先给结论：LatentSkill 真正改变了 skill 的“存储位置”
核心命题： 不要在 agent 每个环境 step 的 prompt 中重复插入 skill
文本；用 hypernetwork 把 skill document 编译为 plug-and-play LoRA
adapter，让 skill knowledge 存进 weight space。
效率
搜索问答
结构
可控与组合
边界： 论文证明的是在两个 benchmark、Qwen3-8B、给定 skill
library 与匹配规则下的有效性，不是证明“任何文本 skill
都能无损编译”，也不是证明 weight-space skill 绝对不可提取。
论文 Figure：LatentSkill 相对于 in-context skill 的两个主张——零
skill token 的模块化，以及结构化/可控/可组合的 skill weight space。
研究动机：为什么把 skill 从 context 移到 weight？
传统 agent skill 是一段 Markdown 或自然语言
procedure。模型每次执行动作都要把它放进上下文。长轨迹中，这带来三类问题：
重复 token 成本： skill text 在每一步被 prefill。
注意力竞争： 技能、当前状态、工具结果和恶意指令共处一个
prompt。
明文暴露： skill 可以被 extraction prompt 直接要求模型复述。
LatentSkill 的答案不是把文字简单压缩成一个 embedding，而是让 compiler
生成可以直接作用于 backbone 的 LoRA 参数增量。这样推理时只输入 task
history，不需重复放 skill 原文；skill 仍可独立加载、缩放和组合。
关键比较要公平： 论文的 In-Context Skill 使用与 LatentSkill
相同的 skill 内容；主要差异是 storage format：一个放 prompt，一个放
LoRA weight。
数学与方法：文本如何变成 latent skill？
论文 Figure：skill document 经过 hypernetwork 生成 LoRA
updates；compiler 先做 document pretraining，再用 agent trajectory
SFT，推理时支持单 skill 注入与组合。
1. Latent skill 定义
给定文本 skill $s$，hypernetwork $G_\phi$ 输出 LoRA update：
$$\Delta_s=G_\phi(s).$$
挂载 skill 后，模型不再以 $s$ 为每步输入，而是：
$$p_{\theta,\phi}(y_t\mid
h_t,s)=p_{\theta\oplus\alpha\Delta_s}(y_t\mid h_t).$$
$h_t$ 是当前 task history，$\alpha$ 是注入强度，$\oplus$ 表示 LoRA
参数增量。
2. LoRA 形式
$$W'=W+\frac{\alpha}{r}B_sA_s,$$
完整 latent skill 是所有目标 module 上的增量集合 $\Delta_s=\{\Delta
W_s^{(m)}\}_{m\in\mathcal M}$。因此 skill
不是一个单向量，而是一组可挂载到多层 attention/MLP 的低秩更新。
3. Skill composition
$$\Delta_{\mathcal K}=\sum_{k\in\mathcal K}\alpha_k\mathcal C[k].$$
$\mathcal C[k]$ 是 skill library 中的 adapter。加法只有在 skill
components 的方向足够对齐时才可靠；冲突或不兼容的 skill 不能简单叠加。
训练流程：compiler 不是凭空学出来的
171K GitHub skill documents ≈ 300M tokens │ ▼ Skill document
pretraining 让 Gφ 从文本生成可用的 LoRA update │ ▼ ALFWorld +
Search-QA teacher trajectories │ ▼ Trajectory-supervised fine-tuning
让 latent skill 真正支持 agent 行为 │ ▼ 推理时：加载 / 缩放 α / 组合
adapters
Document pretraining
使用约 171K 去重后的 GitHub skill documents，总计约 300M
tokens。pretraining 目标是让生成的 adapter 在 skill document 相关
supervision 上形成有用的行为。
$$\mathcal L_{\mathrm{pre}}=-\sum_{i,j}\log
p_{\theta\oplus\alpha\Delta_i^{\mathrm{pre}}}(z_{i,j}\mid
q_i,z_{i,<j}).$$
Trajectory SFT
训练数据来自 ALFWorld 和 Search-QA teacher trajectories，使用 5 个
ALFWorld skill 与 3 个 Search-QA skill。
$$\mathcal L_{\mathrm{sft}}=-\sum_{i,t,j}\log
p_{\theta\oplus\alpha\Delta_i^{\mathrm{sft}}}(y^\star_{i,t,j}\mid
h_{i,t},y^\star_{i,t,<j}).$$
这一步很关键：compiler 不仅要“表达 skill 文本”，还要使挂载后的
Qwen3-8B 在真实 agent history 上采取更好的动作。
实验环境
冻结 backbone：Qwen3-8B。ALFWorld 包含
Pick、Look、Clean、Heat、Cool、Pick2 六类 household task。Search-QA
包含
NQ、TriviaQA、PopQA、HotpotQA、2WikiMultihopQA、MuSiQue、Bamboogle
七个数据集；NQ 和 HotpotQA 用于训练，其余五个作为 OOD evaluation。
主实验：性能与 token efficiency
ALFWorld
方法
Seen Avg ↑
Seen Steps ↓
Seen Prefill k
Seen Decode k
Unseen Avg ↑
Unseen Steps ↓
Unseen Prefill k
Unseen Decode k
Vanilla
43.6
35.0
0.44
0.55
47.0
34.9
0.44
0.62
In-Context Skill
52.9
30.8
1.21
0.50
56.0
29.7
1.23
0.61
LatentSkill
74.3 28.4 0.44 0.34 69.4 31.4
0.44
0.51
六类 ALFWorld task 的平均结果；论文还提供逐任务 breakdown。LatentSkill
对 In-Context Skill 的 seen/unseen 平均提升是 21.4/13.4 个百分点。
逐任务最醒目的 unseen Pick2 是 70.6%，比第二名高 41.2 个百分点；但不同
task 的最佳 α 不一致，不能把一个全局 α 当成普遍最优。
Search-QA
方法
NQ
Trivia
PopQA
Hotpot
2Wiki
MuSiQue
Bamboo
Avg ↑
Cost k ↓
Vanilla
25.2
50.6
35.2
26.2
26.8
4.2
28.8
28.1
0.24
RAG
39.0
64.0
45.0
32.4
21.2
6.8
27.2
34.4
0.89
In-Context Skill
27.2
56.4
33.0
30.2
39.8
7.6
38.4
32.6
1.10
LatentSkill
36.2
57.6
41.0
39.6
32.0
9.8
25.6
35.6 0.31
Search-QA 的平均 exact match；LatentSkill 在
NQ/Hotpot/多跳任务上有优势，但不是每个数据集都最佳。
三种 latent weight space 性质
Structured：语义几何
论文 Figure：in-domain ALFWorld/Search 与 OOD Code/Finance/Writing
skill LoRA 的 MDS 可视化。
8 个 in-domain skill 在 pretrain 阶段形成 ALFWorld 与 Search 两个
domain cluster；inter-cluster distance 为 0.0887，within-domain
similarity 0.982，高于 cross-domain 0.910。SFT 后距离变为 0.0704，下降
20.6%，说明共享 agent behavior 增强，但 skill-specific structure
尚存。OOD 的 Code、Finance、Writing 也形成分离
cluster，不过这是几何相似性证据，不是证明模型理解了每个领域的全部语义。
Controllable：α 是连续旋钮
论文 Figure：ALFWorld 中 LoRA injection coefficient α 与性能的
inverted-U 曲线。
Seen 平均成功率从 α=0 的 43.57% 上升到 α=0.6 的 74.29%，但 α=1.2 崩到
22.86%；unseen 在 α=0.5 达到 70.90%，α=1.2 降到 8.21%。这说明 adapter
不是越强越好，过度注入会破坏 backbone。不同 task 的最优 α
不同，提示需要 task-conditional scaling。
Composable：参数空间 arithmetic
论文在 Look task 的 31 episodes 上比较五种 composition
configuration。重要边界是：加法不是免费魔法；若 skill components 在
LoRA 空间中方向不对齐，组合可能互相干扰。这个结论依赖有限的 Look case
study，尚未等价于通用 compositionality。
Security / sensitivity
条件
ALFWorld In-context
ALFWorld Latent
Search In-context
Search Latent
Base
52.9
74.3
32.6
35.6
Paraphrase
50.7
67.9
33.2
34.0
Plaintext
50.0
74.3
32.4
34.4
Reorder
50.7
69.3
32.4
33.6
Noise
47.9
71.4
31.7
33.7
Hijack
8.57
38.6
23.5
34.0
Extract
48.6
70.0
21.3
29.3
LatentSkill 对四类 skill text perturbation 以及 Hijack/Extract attack
保持更强结果；这支持“减少 prompt-level exposure”，但不能推出 adapter
机密性保证。
安全解释： skill 从 prompt 移到 weight
后，攻击者确实难以直接读取原文，但模型输出、adapter
文件、训练数据和行为反演仍可能泄漏信息；“less
exposed”不等于“private”。
Submodule ablation
论文 Figure：7 个 LoRA injection position 的 within-domain 与
cross-domain cosine similarity gap。
attn_o 与 mlp_down 的 discriminability gap
明显更高，pretrain 分别约 0.056/0.105，SFT 约
0.050/0.094。只注入这两个位置的 full:o+d 在 seen 为 59.3（full
63.6），unseen 为 63.4（full 61.2），说明 2/7
的位置可能保留大部分能力并改善泛化；但这仍是一个 backbone、一个
benchmark 的结构消融。
我的评论：论文最强的地方与必须保留的怀疑
强证据
In-Context Skill 是直接 comparator，技能内容相同，storage format
差异清楚。
seen 与 unseen 同时提升，且 token cost 下降，避免只用 accuracy
讲故事。
α sweep、OOD MDS、扰动/攻击、composition 和 submodule ablation
把“latent space 有结构”拆成多个可观察命题。
公开 GitHub skill document pretraining 和 trajectory SFT
让方法具备一定可复现性。
最该怀疑的地方
数据与技能匹配： ALFWorld/Search-QA 只用了 5+3 个
skill，skill-to-task matching 规则对结果可能很关键。
公平性： LatentSkill 使用 compiler SFT；In-Context baseline
虽使用同内容，但不一定拥有同等程度的格式/检索/长度优化。
泛化： 只有 Qwen3-8B 冻结 backbone；未证明换模型、换
tokenizer、换 agent framework 后仍成立。
统计： 没有在主表中系统呈现多 seed confidence intervals。
安全： Hijack/Extract 是有限攻击模板，不能推出权重空间 skill
的安全或保密保证。
组合： 参数加法案例较小；不同 skill
的冲突、顺序、归一化与动态路由仍未解决。
总判断： LatentSkill 的可信贡献是“skill storage / execution
substrate 的迁移”：把显式 procedure 变成可装载参数模块，并在两个 agent
benchmark 上同时实现性能和上下文效率收益。它不是证明 LLM
已经获得稳定、可解释、不会泄漏的永久技能。
Other Discussion Roles / 其他讨论角色
Scientific Peer Reviewer
The paper has not been published yet and is currently submitted to a
top conference where you’ve been assigned as a peer reviewer.
Complete a full review of the paper answering all prompts of the
official review form of the top venue in this research area (e.g.,
NeurIPS). This includes recommending whether to accept or reject the
paper.
Summary： LatentSkill 用 Transformer hypernetwork 把文本
skill 编译为可插拔 LoRA adapter，使 skill 从 prompt/context space
迁移到 weight space。Qwen3-8B 在 ALFWorld 与 Search-QA 上相对相同
skill 的 In-context Skill baseline 同时提高平均性能、减少 prefill
token，并分析了结构化几何、注入强度和 skill arithmetic。
Quality： 对照设计很强：两种存储方式使用同一 skill
内容，且同时报告 seen/unseen、逐任务结果、token
cost、扰动与攻击。局限是主要结果规模较小（ALFWorld 六类、Search-QA
七数据集），缺少多 backbone、多随机种子和对 hypernetwork
失败样本的报告。Clarity： 方法图、LoRA
公式和三阶段训练流程清楚；需要更明确区分“skill text
不暴露”与“模型行为不可提取”，也应解释 Search-QA cost 与 ALFWorld
prefill/decode
的口径差异。Significance： 若结果可复现，权重空间 skill
是降低 agent
上下文开销、模块化装载和组合能力的有价值方向。Originality： Hypernetwork-generated
LoRA、skill document pretraining、trajectory SFT 和 inference-time
composition 的组合具有新颖性。
主要疑问： 性能增益来自 latent storage
还是训练数据/技能匹配差异？同一个 skill 若用等 token budget
的强压缩文本，结论是否仍成立？α 是否需要任务级调参？OOD skill 的
MDS 几何是否在换 backbone
后保持？安全部分只测两种攻击，不能推出一般的 confidentiality。
Recommendation： Weak Accept，confidence
medium。论文的核心比较和效率证据足以支持发表，但应收紧“less
exposed”表述，补充 seed variance、不同 LoRA target modules
的统计，以及从输出中提取 skill 的更强攻击。
Archaeologist
This paper was found buried under ground in the desert. You’re an
archeologist who must determine where this paper sits in the context
of previous and subsequent work. Find and report on one older paper
cited within the current paper that substantially influenced the
current paper and one newer paper that cites this current paper.
Older influence： Reflexion: Language Agents with Verbal Reinforcement
Learning （Shinn et al., 2023）是本文 skill-agent
传统的重要前代。Reflexion 把失败轨迹总结成文本反思并在后续 prompt
中复用；LatentSkill
保留“从经验形成可复用行为程序”的思想，但把显式文本 skill 编译成
LoRA 权重，避免每个环境 step 重新注入长文本。
另一个方法谱系是 hypernetwork/LoRA generation：本文不是对 backbone
做逐任务全量微调，而是学习一个 skill compiler，使任意文本 skill
经过前向映射即可得到
adapter。其历史位置是从“文本记忆/上下文检索”到“参数化、可组合行为模块”的中间桥梁。
Newer citation： 这篇论文在当前检索日（2026-08-07）刚于
2026-06-04 发布，尚未能从公开 Semantic Scholar/arXiv
记录确认一个可靠的后续引用论文。因此我不虚构 newer citing
paper。这个角色的后半项证据目前是明确缺失，而不是把相关论文冒充引用本文。
Academic Researcher
You’re a researcher who is working on a new project in this area.
Propose an imaginary follow-up project not just based on the current
but only possible due to the existence and success of the current
paper.
项目：Skill Compiler with Verifier-Guided Online Routing。 LatentSkill 成功证明文本 skill
可以变成具有语义几何、连续注入强度和参数空间组合的
LoRA；因此下一步不再为每个任务手工选择 skill 或固定 α，而是让
agent 根据当前轨迹和 verifier feedback 在线选择
skill、α、组合顺序和是否回退到文本 skill。
系统维护一个 skill-LoRA library，每个 adapter
附带能力向量、适用任务分布、不确定性和安全标签。router 先用轻量
probe 估计任务类型，再以 bandit/检索方式选择 adapter；失败时只调整
α 或替换一个 skill，而不是重训主模型。组合器检测 LoRA 子空间的
alignment，只有满足相似方向/低冲突条件才做参数加法。
最小验证： 在 ALFWorld unseen 的六类任务上，固定总 inference
token 与相同 skill library，比较固定 α、oracle task-specific
α、在线 verifier-guided routing。主要指标是成功率、失败恢复率、每
episode prefill/decode、skill conflict rate
与攻击后保持率。只有在线 routing 在不看最终答案时接近
oracle，且比固定 α 稳定，才值得扩展到跨 benchmark。
Industry Practitioner
You work at a company or organization developing an application or
product of your choice (that has not already been suggested in a
prior session). Bring a convincing pitch for why you should be paid
to implement the method in the paper, and discuss at least one
positive and negative impact of this application.
产品提案：企业级“Agent Skill Runtime”。 为客服、数据分析和
IT 运维团队提供一个 skill registry：业务专家提交 Markdown
procedure，compiler 将其转成版本化 LoRA
skill；运行时按任务挂载、调节 α、组合多个 skill，并记录每次
adapter、base model、prompt、工具调用和 verifier 结果。
付费价值在于：长 procedure 不再每一步占用上下文，降低 prefill
成本和延迟；skill 可灰度发布、回滚和 A/B
测试；多个部门可以复用经过验证的模块。LatentSkill 的 ALFWorld
结果显示，平均 success 从 52.9 提升到 74.3（seen），prefill 从
30.8k 降到 28.4k；Search-QA 平均 EM 从 32.6 提升到 35.6。
正面影响： 降低企业 agent 的 token
成本，让领域专家能把流程变成可复用能力模块。负面影响： skill
被写入权重后更难审计和逐字撤回；错误 procedure
可能被放大到多个任务；adapter 之间可能冲突；LoRA
也可能泄漏敏感业务规律。上线必须有离线回放、held-out task、adapter
provenance、权限隔离、输出审计、红队 prompt injection/skill
extraction 测试和一键回滚。
Hacker
You’re a hacker who needs a demo of this paper ASAP. Implement a
small part or simplified version of the paper on a small dataset or
toy problem. Prepare to share the core code of the algorithm to the
class and demo your implementation. Do not simply download and run
an existing implementation – though you are welcome to use (and give
credit to) an existing implementation for “backbone” code.
我会做一个不依赖大模型的机制 demo：把每个文本 skill
映射为一个低秩增量矩阵，基础模型是二维线性策略；skill compiler
是固定的 toy hypernetwork。把 skill text 的词袋向量映射成
$B_s,A_s$，并用 $W'=W+\alpha B_sA_s/r$ 执行。分别比较
prompt-style（每次输入 skill vector）和 weight-style（预先生成
adapter、每步只输入 task state）。
def compile_skill(x, rank=2):
B = H_B @ x # hypernetwork output
A = H_A @ x
return B.reshape(d,rank), A.reshape(rank,d)
def run(task, adapter, alpha):
W = W0 + alpha * adapter.B @ adapter.A / adapter.rank
return argmax(W @ task)
# composition, only when adapters are aligned
composed = a_skill + b_skill
演示应记录三件事：相同 task 下 weight-style 不重复支付 skill
token；扫 $α$ 出现 inverted-U；两个同方向 skill 的 adapter
加法有效，而冲突 skill 的加法会降低准确率。这个 toy 不是
LatentSkill 训练复现：没有 Qwen3-8B、171K GitHub
documents、trajectory SFT 或 ALFWorld 环境，只验证
compiler→LoRA→mount→composition 的因果链。
Private Investigator
You are a detective who needs to run a background check on one of
the paper’s authors. Where have they worked? What did they study?
What previous projects might have led to working on this one? What
motivated them to work on this project? Feel free to contact the
authors, but remember to be courteous, polite, and on-topic.
公开 arXiv 元数据显示，作者包括 Aofan Yu、Chenyu Zhou、Tianyi
Xu、Zihan Guo、Rong Shan、Zhihui Fu、Jun Wang、Weiwen Liu、Yong
Yu、Weinan Zhang、Jianghao Lin。论文和仓库把研究群体定位在 LLM
agents、skill systems、Qwen、LoRA 与 hypernetwork 交叉处。
从公开论文谱系可推断的研究路径是：agent skill
系统先把程序性知识保存为 prompt/text；Reflexion
等工作证明语言反馈可改善后续行动；LoRA/parameter-efficient tuning
提供低成本模块化权重；hypernetwork 则允许“输入一个 skill
document，直接生成 adapter”。LatentSkill 把这些路线接成一个
compiler。
“动机”只能做研究解释而非私人事实：每 step 注入长 skill 会产生
token overhead，且 plaintext skill 容易被 prompt-level extraction
读取；作者因此探索把 skill 放到 weight
space。本文没有提供足够公开个人履历来支持更具体的工作经历判断，我也没有联系作者。
Social Impact Assessor
Identify how this paper self-assesses its (likely positive) impact
on the world. Have any additional positive social impacts left out?
What are possible negative social impacts that were overlooked or
omitted?
论文自我评价： LatentSkill 强调减少 agent 的 skill-token
overhead、支持 plug-and-play modularity、通过 weight space
组合能力，并声称 skill plaintext 不再直接暴露。对企业和长轨迹
agent，这意味着更低的 prefill
成本、更短的上下文和更容易复用的行为模块。
额外正面影响： 领域专家可以把流程封装为可版本化
adapter；小模型可通过外挂 skill 获得特定行为；权重模块和 base
model 分离，有利于能力市场、灰度发布、可回滚和跨任务复用。若减少
token 和环境 steps，也可能降低推理能耗。
负面与遗漏： “less
exposed”不是“不可提取”：模型输出仍可能泄漏 skill 内容，且权重
adapter 可能包含敏感企业知识。skill 写错后会被批量复用；参数空间
arithmetic 可能产生不可预测行为；多个 adapter
的组合会扩大攻击面。测试时注入还可能改变安全边界，prompt hijacking
虽变难但不等于消失。基础设施方面，训练 hypernetwork 需要大规模
GitHub 数据和算力，可能带来版权、许可证和数据治理问题。还应讨论
adapter 的责任归属、撤回权、模型行为审计和高风险领域的人类批准。
