GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning

先讲一个故事

教学性场景（非论文记载）：想象一支小团队要把一个多模块问答系统迁移到新领域。系统先生成搜索查询，再调用检索器，最后由回答模块综合证据。某轮答案错了，日志却留下了丰富痕迹：查询漏了年份、检索器抓错实体、模型忽略了工具返回的反例。团队有几十个小时预算，却没有几十万次昂贵的端到端试跑。

若只把每次试跑压成“对/错”分数，再用 policy gradient 更新模型参数，错误究竟来自哪个模块、该学什么策略都被压掉了；逐条人工修 prompt 又很难累积。转折点是把失败轨迹当成可读的诊断材料：让模型归纳可迁移的规则、改写某个模块的指令，同时保留针对不同题型各自有效的方案，而不是只留一个冠军 prompt。GEPA 把这个直觉变为反思式 prompt 演化算法。

故事与技术如何对应

• 多模块问答流水线 → 论文所说 compound AI system（多个 LLM 模块、检索/工具和 evaluator）。
• 失败日志 → rollout trace（prompt、模型输出、tool input/output 与任务反馈）。
• 读日志归纳可复用规则并改 prompt → LLM reflection 生成高层策略，再以 prompt mutation 形成子候选。
• 为不同问题保留不同可行路径 → Pareto-based illumination：跟踪每个训练样例当前表现最好的候选，并随机从 Pareto front 选父代。
• 把多个方案互补信息合并 → system-aware merge/crossover（论文扩展算法）。以上故事情节是教学类比；方法概念与实验结果来自论文。

先给结论

GEPA 的核心不是“prompt 比 RL 更好”，而是把高信息量的自然语言反馈、候选解的多样性和逐代累积结合起来；在论文所测任务中，它通常以更少 rollout 达到或超过 GRPO、MIPROv2 的性能。

研究动机

Compound AI 程序将语言模型与检索、工具调用、多个阶段的指令串联。常见 RLVR/GRPO 从整条轨迹得到 scalar reward，再估计更新方向；若环境调用昂贵或只能使用冻结的强模型，探索成本高。另一方面，一条轨迹的文本中已经包含错误类型、工具结果与 evaluator 反馈，潜在监督比单个标量丰富。

论文提出的问题：能否让优化器直接利用 LLM 的语言先验，从少量 rollouts 中抽象出高层策略，同时在多个模块/任务上不断积累而不过拟合某个例子？相较 DSPy/MIPROv2 等 prompt optimization 已有路线，本文的增量聚焦在 reflective mutation + Pareto 个例覆盖 + evolutionary lineage 组合。

关键识别：GEPA 改的是提示/程序文本，而非底座权重；GRPO 基线则使用 LoRA（并有 full fine-tuning 附加比较）。因此两者共同比较的是系统优化表现与指定采样预算，不是同一参数化空间里的优化器。

数学表示及建模

把待优化的复合程序写作由模块 prompt 构成的参数集合 \(P=(p_1,\ldots,p_m)\)。对输入 \(x_i\)，系统运行得到轨迹 \(\tau_i(P)\)，评价器给出标量分数 \(s_i(P)\) 与/或文本反馈 \(f_i(P)\)。目标是在有限 rollout 预算下寻找能泛化到 held-out 数据的 \(P\)：

训练期可访问 train 样例与标签；validation 内容不可直接提供给优化器，只能按规则用于候选选择/早停，test 只在优化后评测。反思器根据父代提示、轨迹和反馈生成新提示：\(p'_j=\mathrm{Reflect}(p_j,\tau_i,f_i)\)。

GEPA 的 Pareto 记账可表为每训练样例维护其当前最优候选集合。候选 \(P\) 支配 \(Q\) 若在所有样例不差且至少一个样例更好；算法以随机/偏置方式挑选具有样例优势的候选作父代。这个表示保留了不同错误/子任务上的互补策略，而非把候选压成单一全局均值。这里是概念化表达；具体实现细节见原论文算法。

算法流程 / 方法

1. 初始化：从基础 program/prompt 开始，在训练实例上执行系统，记录 score、trace 与 task feedback。
2. 反思：基于选中的轨迹，让 reflection LLM 定位失误、成功策略和可操作的指令修订；一次 mutation 可由很少甚至单条 rollout 驱动。
3. 变异与评估：把新提示替换到相应模块并运行验证/训练评估，追踪不同样例上的表现向量。
4. Pareto 选择：维护按训练实例划分的最佳候选 frontier；随机选择一个有用父代，缓解只追随平均分冠军造成的策略坍缩。
5. 谱系演化：子代继承父代积累的语言规则，在后续样本中继续变异，形成候选树。
6. 合并：论文提出 system-aware merge，让互补候选在模块级交叉组合；组合是否有利需由 evaluator 检验，不能假设 prompt 拼接自然有效。
7. 停止/选择：在限定预算下依据 validation 表现选择最终程序；最终报告 held-out test 结果。

直觉上，语言反思令每条 rollout 的“学习信号密度”提高；Pareto frontier 担任多样性记忆；谱系使策略累积。三者不可混为一个组件：单独 reflection 可能过拟合个例，单独 Pareto 只保留而不产生新策略，单独遗传变异则缺少诊断信号。

实验设计

任务、系统、模型

六个 benchmark 覆盖数学（AIME-2025、LiveBench-Math）、多跳 QA（HotpotQA）、instruction following（IFBench）、检索事实核验（HoVer）和 privacy-aware delegation（PUPA）。底座模型包括开源 Qwen3 8B 与 GPT-4.1 Mini；系统由多模块 LLM program 与各任务 evaluator/feedback 组成。

比较与数据边界

基线包含 GRPO（主要 LoRA 设置，并讨论 full fine-tuning）、MIPROv2，以及 Trace/OptoPrime、TextGrad 等优化器。采用 train/validation/test 划分：训练可见 train 标签；validation 的内容不作为学习输入但分数用于候选选择；test 仅最终评估。预算用 rollout 数量追踪，GEPA 的大量采样还可能用于 validation 候选筛选。

应该如何读结果

主表对不同任务、模型和优化器分别报告分数及变化；rollout-performance 曲线观察达到某分数所需采样量；generalization gap 图检查 validation 最佳与 test 最终性能落差。结果解释需保留优化预算、底模、feedback 设计与每任务 evaluator 的依赖，不将跨任务平均值当作统一尺度的业务效益。

实验结果

• 作者摘要称六任务上 GEPA 平均超过 GRPO 约 6 个百分点，个别任务最高约 20 个百分点，并在部分设置少用至 35 倍 rollout；这是跨任务概述，具体数字依模型、任务和预算而异。
• 当前源码包主表可核对到：Qwen3 8B 的六项任务 Aggregate，Baseline 45.23、GRPO 48.91、GEPA 54.85（相对 GRPO 高 5.94 分）；表列 GEPA(+Merge) aggregate rollout 3,936，对照 GRPO 24,000。GPT-4.1 Mini 表中 GEPA 65.22、GEPA+Merge 66.36、MIPROv2 58.67；相对 Baseline 53.03 的提升分别为 +12.19、+13.33，GEPA+Merge 的相对 MIPROv2 差值为 7.69 分。表中 Aggregate 是该论文 benchmark 汇总口径，并非跨领域统一量纲。
• Qwen3 的 IFBench 个例中，论文报告 GEPA 用 678 rollouts 得到 38.61%，高于 GRPO 24,000 rollouts 的 35.88%；该例具体说明少样本优势，但不能单例代表所有任务。
• GEPA 在评测设置中通常优于 MIPROv2，扩展实验将其用于 NPUEval/KernelBench 代码优化及 adversarial prompt search；这些说明可拓展性，不等同于生产通用性。
• rollout 曲线显示 GEPA 可较快取得明显提升，但评估候选需要额外验证调用；训练 rollout 与总评测调用不是同一概念。
• 扩展实验把 GEPA 用于 inference-time code optimization（NPUEval、KernelBench）及 adversarial prompt search，说明搜索框架可应用于不更新模型权重的任务；这些属于扩展证据，不等同于通用生产性能。

我的评论

强项

方法抓住复合系统日志的结构：自然语言轨迹本来就比 scalar reward 含更多可解释诊断。Pareto-per-instance 的设计也很契合异质任务——不同样例可能需要相异策略。演化谱系提供“把一个局部教训带到后续”的清晰机制，结果同时覆盖两个模型族、多个工作负载，并尝试与权重更新和 prompt optimizer 比较。

审稿人会追问

• 预算公平：rollout 并非等价成本；GEPA 的 reflection calls、validation sweeps、长 trace 与生成 token 应换算成美元、token 和延迟。避免只凭 rollout multiplier 下“成本低”的结论。
• 反馈依赖：有效性部分取决于 task-specific textual feedback 是否可用、是否诊断性强；只有二元 reward 的环境未必享有同等收益。
• 消融与归因：应把 reflection、Pareto selection、lineage、merge 分开测，并考察 frontier 大小/选择策略；整体胜出不能证明每个部件因果必要。
• 统计与稳健性：多个任务/底模是优点，但要看 seed 数、误差区间、基线调参预算及 evaluator 噪声。test/validation gap 不能替代更多领域外迁移实验。
• 版本语境：当前源包是 ICLR 2026 风格扩展版本，含六任务与附录应用；早期 arXiv 记录/摘要可能写五任务与旧数值。本文按当前下载源重述，引用数字必须注明对应版本。

总体判断：这是一项值得采用的高效 prompt/program search 方案，尤其适合黑盒工具系统中已有自然语言诊断信号的优化。但其证据支持“特定任务、反馈和预算下有效”，尚不支持无条件替代 RL。

One More Thing

GEPA 可被视为一种 inference-time / development-time 的“可读参数更新”：不是梯度改变模型权重，而是把经验压缩成可审阅、可编辑、可版本控制的自然语言策略。它的工程优势（可解释、可回滚、便于人审）也带来新的评估职责：提示中的规则是否泄漏训练标签、是否把 benchmark-specific shortcut 写死、是否能在分布漂移时安全降级，必须和分数一起审计。

完整图谱

下列图来自论文源包中可提取的图像文件；图注只描述图自身内容。PDF 中的复合图以其子图文件逐一呈现，另有完整算法/提示示意。由于源包含 63 个视觉资产，其中部分为多模型、多数据集的细粒度 rollout 曲线，保留全部以满足图覆盖要求。

Other Discussion Roles / 其他讨论角色

以下七个角色逐字保留 MIT MAS.S60 原始英文 prompt，回应基于论文正文与可核验公开来源。

candidates = [initial_prompt]
per_example_best = {i: initial_prompt for i in train_ids}
for step in range(budget):
    parent = sample_from_pareto(per_example_best, candidates)
    i = choose_training_example()
    trace, score, feedback = run_toy_system(parent, example[i])
    child = reflect_and_mutate(parent, trace, feedback)  # 自写简化反思器
    scores = evaluate_on_train(child)
    candidates.append(child)
    for j in train_ids:
        if scores[j] > score_of(per_example_best[j], j):
            per_example_best[j] = child
return best_by_validation(candidates)

Reference / Evidence

阅读依据：公开 arXiv 源码包及对应 PDF，按当前可下载的版本进行解读；外部页面元数据核验日期：2026-10-23。arXiv 记录 ID 为 2507.19457，源码包为 ICLR 2026 风格扩展稿，和早期摘要可能存在任务数/数字差异；正文数字应以所引版本表格为准。本页面不包含本地路径。版本核验入口：arXiv abs 页面。