GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning

GEPA 的核心主张：不要只把 rollout 压成一个 reward 标量。

这篇论文的关键不是“又一个 prompt optimizer”，而是一个更强的训练信号观点：复杂 AI system 的每次 rollout 都会产生大量自然语言中间产物，包括 reasoning、tool call、retrieval 结果、compiler error、rubric failure 等。RLVR/GRPO 通常把这些东西折叠成最终 reward；GEPA 反过来让 LLM 读这些 trace，反思失败原因，再把可泛化的规则写回 prompt。

问题不是“prompt 要不要优化”，而是“每次昂贵试错到底浪费了多少信息”。

论文把背景放在 compound AI systems：一个真实 agent / RAG / language program 往往不是单次 LLM call，而是多个 language modules、retriever、tool、control flow 组合起来的系统。这样的系统每跑一次，成本可能来自多轮推理、检索、工具调用、代码编译、benchmark evaluation。

RLVR/GRPO 的强项是可以用可验证 reward 训练模型权重，但它的典型使用方式需要大量 rollouts。论文认为，这在复杂工具链里会很贵，而且会丢掉“为什么错”的信息。比如代码任务里 compiler error、profiling log；检索任务里 missing document；instruction following 里没满足哪些约束；privacy delegation 里 quality 和 PII leakage 的分项。这些都比一个最终标量更接近人类 debugging 时真正用的信息。

作者阵容为什么值得注意

作者来自 UC Berkeley、Stanford、Notre Dame、Databricks、MIT 等机构。名单里有 Matei Zaharia、Ion Stoica、Dan Klein、Omar Khattab、Christopher Potts、Alexandros G. Dimakis 等熟悉系统、NLP、DSPy / language program 生态的人。这个背景解释了为什么论文不是只做 prompt trick，而是把 GEPA 写成“系统优化器”：它要优化的是一个带模块、反馈、预算和候选池的 AI workflow。

GEPA 先把 prompt optimizer、RL finetuning 和 compound system 放进同一个目标函数。

论文定义 compound AI system 为 \(\Phi=(M,C,\mathcal{X},\mathcal{Y})\)。其中 \(M=\langle M_1,\ldots,M_{|M|}\rangle\) 是 language modules，\(C\) 是控制流，\(\mathcal{X},\mathcal{Y}\) 是系统输入输出 schema。每个模块 \(M_i=(\pi_i,\theta_i,\mathcal{X}_i,\mathcal{Y}_i)\)，其中 \(\pi_i\) 是 prompt / instruction / demos，\(\theta_i\) 是底层模型权重。

这个写法故意同时允许优化 prompts \(\Pi_\Phi=\langle\pi_1,\ldots,\pi_{|M|}\rangle\) 和 weights \(\Theta_\Phi=\langle\theta_1,\ldots,\theta_{|M|}\rangle\)。这样 GEPA 与 GRPO 才能在同一个“系统优化”问题下比较：GRPO 主要走 \(\Theta\) 的权重更新；GEPA 固定 \(\Theta_\Phi\)，只演化 \(\Pi_\Phi\)。

预算约束

现实问题是 rollout 有预算 \(B\)：每次 rollout 是一次系统执行加评价。论文把 sample-efficient optimization 写成：

反馈函数 \(\mu_f\)：GEPA 的“语言梯度”入口

普通 metric \(\mu\) 只输出分数；GEPA 需要的是 \(\mu_f\)，它返回分数和文本反馈：

这里的 \(\mathrm{feedback\_text}\) 可以来自 evaluator 的自然语言解释，也可以来自程序环境的错误信息、检索任务中的 missing documents、rubric 中未满足的 constraints、或多个子指标的 breakdown。我的理解是：GEPA 的效率很大程度来自它没有把这些结构化诊断“压扁”。

GEPA = reflective mutation + genetic ancestry + Pareto-based illumination。

主循环

输入：系统 Φ、训练集 D_train、metric μ、feedback function μ_f、预算 B
拆分：D_feedback 用于产生反思信号；D_pareto 用于候选选择
初始化：候选池 P = [Φ]，记录每个候选在 D_pareto 上的分数 S

while 预算未耗尽:
  1. SelectCandidate(P, S): 从 Pareto front 中抽一个候选 Φ_k
  2. SelectModule(Φ_k): 选一个要更新的模块 prompt π_j
  3. 在 D_feedback 采样 minibatch，运行 Φ_k，收集 trace、score、feedback
  4. reflection LM 读取当前 prompt + I/O trace + feedback，生成新 prompt π'_j
  5. 得到新系统 Φ'，在同一 minibatch 比较更新前后分数
  6. 若 Φ' 更好：加入候选池，并在 D_pareto 上评估记录

输出：在 D_pareto 上平均分最高的候选 Φ*

Pareto candidate selection

如果每次只选择全局平均分最高的候选继续变异，就很容易陷入“一个局部策略已经不错，但再也改不动”的状态。GEPA 的选择策略改成按实例保留赢家：

然后把每个训练实例上的赢家合并成候选集合，删除被严格支配的候选。设 \(f[\Phi]\) 是候选 \(\Phi\) 在多少个实例上处于 non-dominated Pareto winner，GEPA 按 \(f[\Phi]\) 成比例采样下一轮要演化的候选。

System-aware Merge

GEPA+Merge 是 crossover：如果两个候选来自共同祖先，但分别优化了不同模块，且都优于祖先，那么可以把它们的模块级 prompt 组合成一个新候选。这个策略很像把两个分支上学到的互补经验合并。论文也承认 Merge 的收益依赖时机和预算分配：GPT-4.1 Mini 上更有帮助，Qwen3 8B 上固定超参会导致部分退化。

Reflection meta-prompt 的本质

附录里的 meta-prompt 并不神秘：它让反思模型看到当前 instruction、若干输入输出和 feedback，并要求它输出新的 instruction。重要的是它明确要求把 minibatch 中暴露的 niche/domain-specific information 和可泛化策略写进新指令。换句话说，GEPA 在做一种“把局部失败经验编译成未来可执行规则”的过程。

实验覆盖 6 个任务、2 类模型、4 组优化器，并把 rollout budget 尽量对齐。

实验使用标准 train / validation / test split。优化器可以访问 train 的文本和标签；可以监控 validation 分数用于候选选择或 early stopping，但不能直接读取 validation 内容；test 完全 held-out，只在优化后评估。

模型和推理设置

优化器配置

• Baseline：不做优化，直接评估初始系统。
• MIPROv2：DSPy 生态里的 instruction + few-shot optimizer；论文使用 auto=heavy，每模块 18 个 instruction candidates 和 18 组 few-shot sets。
• Trace / TextGrad：用 Trace 框架实现，同架构、同 initial prompt、同数据，并给它们同样的 metric 与 feedback functions；但 Trace 不支持 GEPA 那种 per-module feedback。
• GRPO：compound system 训练使用 LoRA，500 training steps，总计 24,000 rollouts；另在 HoVer 单模块设置里补充 full-parameter finetuning 对比。
• GEPA / GEPA+Merge：minibatch size 为 3；启用 merge 时最多调用 5 次；\(D_\mathrm{feedback}\) 是训练集，\(D_\mathrm{pareto}\) 是验证集。为了和 MIPROv2 公平比较，GEPA 的 rollout budget 按每个 benchmark 对齐 MIPROv2，预算差异控制在约 10.15% 内。

主要结果：GEPA 在 sample efficiency、闭源模型可用性、prompt 长度和跨模型迁移上同时占优。

Qwen3 8B：GEPA 对 GRPO 的核心对比

这张表支持一个强结论：在 Qwen3 8B 上，GEPA aggregate 54.85，高于 GRPO 48.91；除 AIME-2025 外，GEPA 在另外 5 个任务上超过 GRPO。注意 AIME 是重要例外：这里 GRPO 38.00 明显高于 GEPA 32.00，说明数学题权重更新仍然很强，不能把结论泛化成“prompt evolution 永远胜过 RL”。

GPT-4.1 Mini：GEPA 对 prompt optimizers 的闭源模型对比

闭源模型这里不能和 GRPO 做同类权重训练比较，因此主问题变成：同样是 prompt optimizer，GEPA 是否优于 MIPROv2 / TextGrad / Trace。表格显示 GEPA+Merge 的 aggregate improvement 为 +13.33，而 MIPROv2 为 +5.64，TextGrad 为 +6.11。更有意思的是 GEPA-Qwen-Opt：用 Qwen3-8B 优化出的 prompt 直接迁移到 GPT-4.1 Mini，aggregate 仍有 +9.00，超过直接在 GPT-4.1 Mini 上优化的 MIPROv2、Trace、TextGrad。

Pareto selection ablation：不是所有“反思变异”都一样

这个 ablation 对理解论文非常关键：如果只是让 LLM 反思并一直改当前 best candidate，确实也能提升，但远不如 Pareto-based candidate selection。这说明 GEPA 的主要贡献不是“用 LLM 改 prompt”这么简单，而是把 prompt evolution 的搜索轨迹设计得不容易早熟收敛。

Prompt 长度与成本

论文还强调 instruction-optimized prompts 往往比 few-shot demonstration prompts 短。主文写到 GEPA / GEPA+Merge 的 prompts 最多可比 MIPROv2 短 \(9.2\times\)。这很重要：MIPROv2 优化 demos 可能提升效果，但运行时 input tokens 更长；GEPA 把经验压成 instruction，运行成本、延迟和服务吞吐会更友好。

One More Thing：GEPA 不止能优化 prompt

扩展实验把 GEPA 当 inference-time search：令 \(D_\mathrm{train}=D_\mathrm{pareto}\)，允许优化器“过拟合”一组待解问题，并把一个任务中学到的失败经验迁移到其他任务。论文在 NPUEval 和 KernelBench 上做了初步代码生成实验。

这是一篇很值得重视的论文：它把“prompt 是程序”这件事做成了可比较的优化算法。

我对“GEPA vs RL”的真实判断

这篇论文最有价值的读法不是“GEPA 要替代 RL”，而是：当任务反馈能被语言解释、rollout 很贵、系统由多个模块组成、模型权重不可训练或不值得训练时，GEPA 应该成为第一优先级的优化层。它很适合做快速适配、prompt / tool description / agent architecture 的低成本搜索；如果后续还需要权重层面的泛化或压缩，再把 GEPA 产出的策略、轨迹和优质样本喂给 RL / SFT，可能是更自然的组合。

对我们做 skill / paper2html 的启发

GEPA 本质上在做一件和“沉淀 skill”非常接近的事：把一批具体失败案例和反馈，压缩成未来可执行的自然语言程序。区别在于它有自动化评估函数和 Pareto selection，所以能系统地筛选哪些经验值得保留。这个思想可以反过来指导我们的工作流：每次生成论文 HTML 后，不只记“哪里错了”，还要把错误绑定到证据类型、检查脚本和模板规则，让下一篇自动规避。

公开证据来源