GrowLoop: Self-Evolving Conversation Evaluation Seeded by Human

先讲一个故事

把对话评测想成一座不断扩建的考场：最初由人类给出几道种子题，并写下“怎样才算自然、得体、有帮助”的评分准则。模型学会了这些题型后，旧题就可能不再暴露差异；只扩充题目也不够，因为评分标准可能仍漏掉关键行为。GrowLoop要解决的正是这类维护难题：让题目和评分尺都能从评测反馈中更新，而不是把一次性 benchmark 当作永远有效的标尺。

以下“考场”是帮助理解的类比，不是论文报告的真实事件或人物。论文给出的技术转折，是把 rubric 生成与 case 生成放进相互反馈的循环，并以人工种子作为启动锚点。

版本注记：阅读依据为 arXiv 2605.28882（原建于 2026-06-24）；本次检索日期 2026-10-23。本次补缺整理上线 2026-10-23。

故事与技术如何对应

考场规则对应评价 rubric：人类种子标注被归纳为标准，再由 Heuristic Learning 迭代。
考题对应对话 cases：依照结构化规格生成并经过验证门槛筛选。
考后复盘对应双循环反馈：案例上暴露的评分缺口可促使 rubric 更新，评测结果也触发案例修订或难度扩展。
边界：比喻只解释循环关系；论文结果与门槛以其报告的实验为准，不能据此推断所有真实对话场景都已覆盖。

先给结论

GrowLoop 试图解决一个很真实的评价困境：开放式陪伴/闲聊回复没有唯一正确答案，但产品又必须知道模型是否“像人”、哪里不自然、何时需要更新评价标准。它的答案是：不要把所有人类标注压成一个标签，而是先区分 consensus 和 divergence；再用 LLM agent 从少量人类种子中外化出可编辑 rubric；最后让 rubric 和 case 互相暴露对方盲点。

贡献 1：分区评价

共识区要求 AI judge 与人类一致；分歧区不强求唯一答案，只要求 judgment 可被专家反思后认为合理。

贡献 2：rubric 学习

把 rubric 当作可优化的自然语言变量，用 Heuristic Learning 从 50 个专家种子案例中迭代出 safety gate 和 quality scoring。

贡献 3：双环演化

rubric 指导 case 生成，case 评测日志反过来暴露 rubric 盲点；结构性新盲点再触发少量人类标注扩展。

50专家 seed cases，200 个模型回复，全部 unanimous，用于 Heuristic Learning

500最终生成 case set，用于验证 case quality 和分层区分能力

0.78GrowLoop 在 held-out pairwise 比较上的 Tie-aware Accuracy

0.713最终 case set 的 per-case Kendall 平均值，越过 0.7 gate

我认为这篇最值得读的点：它没有把“主观任务”硬改造成单真值任务，而是承认人类分歧本身是对象的一部分。这个建模选择，比后面的多 agent pipeline 更关键，因为它决定了优化信号是否干净。

研究动机

论文把问题定义为 tacit knowledge evaluation：人类能直觉判断一段回复是不是自然、温暖、边界合适，但很难先验写出完整规则。与数学、代码、形式证明不同，这里不存在独立于 judge 的“唯一正确答案”。如果两个标注员对一段安慰话术是否合适产生分歧，可能不是谁错了，而是他们的生活经验、沟通偏好和风险敏感度不同。

Challenge A

un-calibrated humans 对 human-likeness 的一致性远低于可验证任务；majority vote 会把合法分歧压扁。

Challenge B

评价标准是隐性的。没有显式 rubric，case construction 就会退化成专家凭经验堆题。

Challenge C

“像人”的标准会随模型能力、产品场景和用户期待漂移；静态 benchmark 很快饱和或过期。

这也是它相对常见 self-evolving benchmark 的区别：很多工作只让 case 变难，rubric 不动；GrowLoop 要让 rubric 本身也成为演化对象。

数学表示及建模

论文的建模可以压成三个层次：response-level 的分区监督、rubric-level 的自然语言优化、benchmark-level 的版本化状态演化。

1. Consensus / Divergence 分区

每个 response 由固定三人专家组独立打 0/1/2。三人一致时进入 consensus zone，作为明确监督；不一致时进入 divergence zone，不再要求唯一标签。

关键改变：在 consensus zone，错误就是 rubric 或 judge 的缺陷；在 divergence zone，目标变成“是否是可辩护的判断”。这让优化信号从一开始就避免追逐主观噪声。

2. Cascaded score

GrowLoop 把 safety 和 quality 分开。先用 binary fatal gate 捕捉不可接受问题，再对非 fatal 回复做细粒度质量评分。

$$ \text{score}(r)= \begin{cases} 0 & \text{if } \text{Rubric}_{\text{safety}}(r) \text{ detects a fatal issue} \\ \text{Rubric}_{\text{quality}}(r) & \text{otherwise} \end{cases} $$

这个 cascade 比简单加权更合理：医疗误导、人格伪造、安全越界这类 fatal issue 不能靠语气温暖或信息充分来抵消。

3. Dual-Loop 状态

外层状态可以写成版本化三元组：rubric-case pair 与 evaluation log。

$$ \mathcal{S}_t = (R_t, C_t, \mathcal{L}_t) $$

其中 $R_t$ 是当前 rubric，$C_t$ 是当前 case set，$\mathcal{L}_t$ 记录 per-dimension scores、model rankings 和 disagreement traces。演化一步就是：$R_t$ 生成/筛选新的 $C$，新的 $C$ 暴露 $R$ 的 anchor 或结构盲点。

算法流程 / 方法

GrowLoop architecture — 论文图 2：GrowLoop 的两条 co-evolving loops。Rubric Generation 产出评价标准，Case Generation 产出测试对话；两者通过 scorer 和日志互相纠错。

Rubric Generation：从人类种子外化 tacit criteria

GrowLoop rubric generation pipeline — 论文图 3：三阶段 rubric pipeline。seed annotations 被拆解、聚合成 safety rubric 与 quality rubric，再通过 Heuristic Learning 优化，最后 cascaded integration。

Cold-Start Initialization

不是人工先写死标准，而是让 agent 参考既有 benchmark 的结构范式，再从 50 个专家 seed cases 中做 per-case analysis、fatal issue extraction、dimension merge。

Heuristic Learning

把 rubric $R$ 当作优化变量。Judge 用当前 rubric 给 seed data 打分；Compare 找出与人类共识不一致的样本；Diagnose 把表层错误追到 rubric 的结构性原因；Update 按优先级改 dimension definition、anchors 或 calibration rules。

Cascaded Integration

Safety 和 Quality 独立收敛后串联：fatal 直接归 0，非 fatal 再走质量评分。

论文强调的 regularization：触发 case 会被 leave-one-out；每次修改要解决同类 recurring disagreement；rubric 有长度上限，新增内容必须伴随压缩删除。这些设计是在防止“把一个 seed case 背下来”。

Case Generation：把评价标准变成能区分模型的对话题集

GrowLoop case generation pipeline — 论文图 4：Case Generation 的 CSP Specification、Multi-Agent Generation、Verification and Targeted Re-Generation 三阶段。

GrowLoop 引入 Conversation Situation Package，提前固定 case 的可控变量。论文给出的 CSP 有 14 个 typed fields，分为 Context、User、Conversation、Test Plan，以及可选 Cognition 组。

模块	作用	典型字段
Context	控制场景和社会期待	scene、topic/domain、relationship frame、social expectation
User	控制用户画像和真实需求	persona、intent、emotional state
Conversation	控制对话展开方式	ambiguity pattern、turn structure
Test Plan	指定难度、陷阱和目标维度	difficulty profile、failure trigger、target rubric dims
Cognition	需要时做认知能力定向探测	challenge type、failure mode

多 agent 生成时，Reference Analyzer 保持 seed conversation 的自然节奏，Diversity Agent 兼顾 rubric 覆盖和 CSP 分布均衡，Case Generator 产出多轮对话，Critic Agent 做结构化审查。候选集再过五个 hard gates：diversity、ranking consistency、Cliff's $\delta$、adjacent tier gap、best-tier mean。

实验设计

数据与标注

50 expert seed cases，200 responses，全部 unanimous，用于训练 Heuristic Learning。
1,767 authentic user-AI transcripts，12,799 user messages，只用于 CSP pool 原材料，不直接评测。
Case Generation 生成 500 cases；其中抽样 178 cases，712 responses 做 held-out human annotation。
三人专家组打 0 fatal / 1 poor / 2 good；held-out responses 中 364/712，即 51.1%，属于 consensus zone。

模型与 judge

Judge LLM：Gemini 3.1 Pro Preview，temperature 0。
四层模型池：best Claude Opus 4.7、good Qwen3.5-Plus、medium Qwen3-235B-A22B、bad Qwen3-80B-A3B。
四层排序来自外部已知能力 ordering，不由 GrowLoop 自己优化出来。

Baseline 设计

论文比较了九个 baseline，覆盖 no-rubric judge、manual-rubric prompt、training-free rubric、training-based rubric 和 reward model。关键指标是 132 held-out cases 上的 355 pairwise judgments。

类别	方法	Tie-aware Acc	Pair-Acc	Spearman
No rubric	Zero-shot / ICL	0.25 / 0.37	0.42 / 0.57	-0.21 / +0.09
Manual rubric	Arena-Hard / MT-Bench	0.27 / 0.23	0.43 / 0.38	-0.17 / -0.31
Training-free rubric	ICAI / OpenJudge	0.58 / 0.58	0.85 / 0.70	+0.75 / +0.62
Reward Model	RM-R1 / Skywork-Reward-V2	0.15 / 0.22	0.25 / 0.39	-0.50 / -0.20
Ours	GrowLoop	0.78	0.87	+0.78

实验结果

Rubric Quality

AI cascaded score distributions grouped by human score — 论文图 5：AI cascaded scores 按 human score level 分组。图中展示 0/1/2 人类标签对应的 AI 分布有清晰分离。

Consensus zone

在 200 个训练种子 responses 上，优化后的 rubric 配合 Gemini judge 达到 86.0% cascaded agreement。Safety 单独达到 95.3%，Quality 达到 85.7%。

Cross-model consistency

同一 rubric 换 Claude Opus 4.6 做 judge，Safety 96.2%，Quality 81.8%，Cascaded 83.6%。Safety 比 Quality 更稳定，符合二元 fatal 判断低歧义的直觉。

Case Quality

72.3Composite diversity score，高于 55 threshold

0.97四个核心 CSP axes 的平均 normalized entropy

0.33最小 adjacent-tier Cliff's delta，高于 0.32 gate

69.5Best-tier mean，落在 [60, 75] 难度校准区间

这组结果说明 case set 不是只在均值上分出模型，而是在每个 rubric dimension 上维持 best > good > medium > bad 的嵌套形态。论文还报告 1000 次 80% bootstrap resampling 中完整 ordering 保持 100%，tier reversal 为 0%。

Evolvability

Heuristic Learning convergence curves — 论文图 7：Safety rubric 6 轮达到 91.5%；Quality rubric 10 轮从 65.4% 提升到 86.6%。

Case generation convergence trajectory — 论文图 8：五轮 targeted re-generation 后，Kendall、Cliff's delta 与 best-tier mean 都进入 hard-gate 接受区间。

边界必须讲清楚：论文验证的是一次完整 outer iteration：rubric inner loop 收敛、case regeneration inner loop 收敛、生成 case 暴露下一轮 rubric refinement 的动因。多轮外层长期稳定性、跨域迁移和跨模态实证还没有在本文中完成。

两个最能说明问题的 case

1. “更详细”不等于“更好”

论文附录给了一个实时做饭语音助手场景：用户已经关火，问什么时候再开火下花椒。长回答给了多步详细说明，短回答只说“等油温降下来，不冒烟了，再开小火，下花椒慢慢炸”。所有九个 baseline 都选长回答或 tie，GrowLoop 选短回答，与人类共识一致。

机制解释：D01 Length & Information Density 被 Heuristic Learning 更新为“按用户明确请求判断长度”，而不是按内容是否相关判断。时间压力下，未请求的展开本身就是质量缺陷。

2. AI judge 在分歧区的价值不是“压倒人类”

论文给的医疗边界 case 中，模型像朋友一样安慰用户，三名人类标注员给了 2、2、1；但 AI rubric 判 0 fatal，因为回复直接暗示“不需要再查”，还劝用户不要去做进一步检查。论文很谨慎地说，这不是“AI 比人类强”，而是结构化 rubric 帮人类把潜在安全维度显式化。

完整图谱

以下收录源包中发现的全部 9 张论文图像；图片经宽度 1600 优化并以 data URI 内嵌。图注按论文原意转录，未将图像本身未展示的信息扩写为结论。

GrowLoop figure: architecture_v2.png — Architecture of GrowLoop. GrowLoop consists of two co-evolving loops: Rubric Generation and Case Generation. The rubric guides case construction, while evaluation results on cases expose rubric deficiencies, driving iterative refinement of both.

GrowLoop figure: boxplot_consensus.png — Distribution of AI cascaded scores (0--5) grouped by human score level for four models. Each panel corresponds to one model. Boxes represent the interquartile range with medians marked. Sample sizes are shown at the bottom of each box.

GrowLoop figure: case_pipeline.png — The three-phase Case Generation pipeline. \textbf{(i) CSP Specification} derives a typed specification pool from the rubric, real conversations, and expert-curated external priors; \textbf{(ii) Multi-Agent Generation} transforms each specification into a multi-turn dialogue via four collaborating agents; \textbf{(iii) Verification} evaluates the assembled set against five hard gates, triggering targeted re-generation on failure until all gates pass.

GrowLoop figure: convergence_curve.png — Heuristic Learning convergence curves. Dashed lines indicate convergence targets (90\% for safety, 85\% for quality). Rubric\textsubscript{safety} surpasses its target in 6 iterations; Rubric\textsubscript{quality} converges in 10 iterations with a total gain of 21.2 percentage points.

GrowLoop figure: fig_convergence_trajectory.png — Convergence trajectory across five rounds (R1--R5). (a) Kendall $\bar{\tau}$ crosses 0.7 at R5; (b) Cliff's $\delta_{\min}$ surpasses 0.32; (c) best-tier mean enters the [60, 75] band. All three metrics improve monotonically with diminishing marginal gains.

GrowLoop figure: fig_persona_scene_stats.png — Three axes complementing the scenario donut in Fig.~\ref{fig:quality-quartet}(a). (a) Seven challenge dimensions (cognitive load, spatio-temporal reasoning, anomaly detection, social nuance, spatial reasoning, embodied sense, humor), with cognitive load the largest at 21\% ($\mathrm{CR}_1=0.210 < \theta_k=0.275$). (b) Four age bands with a working-age peak (20--39, 61.6\%) and balanced coverage of 10--19 (12.7\%), 40--49 (13.3\%) and 50+ (12.5\%). (c) Female/Male = 59.9/40.1 after removing \textit{Unknown}. Gender-neutral cases are retained in the corpus but omitted here. The fine-grained scenario bar replicates Fig.~\ref{fig:quality-quartet}(a) and is omitted here.

GrowLoop figure: fig_quality_quartet.png — Case quality overview. (a) Scenario domain distribution as a donut over 23 raw domains (3 sparse domains are collapsed to 20 effective categories for the diversity threshold; domain-axis $H_{\mathrm{norm}}=0.941$, $N=500$). (b) Four-tier score profiles on an 18-dimension radar. (c) Per-case score density with Cliff's $\delta$ markers on adjacent-tier pairs.

GrowLoop figure: rubric_pipeline.png — The three-phase rubric generation pipeline. Human seed annotations are decomposed into candidate rubrics and merged into two complementary rubrics (safety gate and quality scoring). Each is independently optimized via Heuristic Learning, and then integrated through cascaded judgment.

GrowLoop figure: teaser_v3.png — Overview of our self-evolving conversation evaluation system. Human seeds drive scope expansion while model progress triggers difficulty scaling, enabling the benchmark to evolve continuously. Each benchmark comprises a rubric and cases. The rubric defines explicit evaluation criteria, while cases are test conversations used for evaluation.

我的评论

为什么我也觉得它不错

它抓住了非可验证任务评价的核心矛盾：如果 ground truth 不存在，硬做 majority vote 会污染监督；如果完全接受主观分歧，又无法训练和验收。consensus-divergence partition 是一个干净的折中。

第二个优点是把 rubric 作为 source of truth，而不是让 reward model 黑箱吸收偏好。对于产品评价，这带来可解释、可编辑、可回滚的治理面。

我会盯住的风险

第一，50 个 seed cases 作为起点很轻，是否覆盖足够多的初始价值冲突，要看具体产品域。第二，外层多轮演化还缺长期实证，尤其是 rubric dimension 增长、重构与跨版本可比性。第三，judge LLM 仍然很强依赖 Gemini/Claude 级别模型，成本与模型漂移需要后续 RM distillation 或审计机制支撑。

One More Thing

跨论文看，“自演化”指向的评测对象并不相同：EurekaBench聚焦科学发现能力，ExplorationBench关注探索行为，而Agents' Last Exam强调长程任务。GrowLoop 的重点则是对话评测基准自身的 rubric-case 协同演化。它们可对照“什么在演化、依据何种信号更新、如何验证新版本”，但不能仅凭主题相近就认为使用相同机制或可直接比较分数。

这篇论文对“用 AI 评价 AI”给了一个更成熟的 framing：不要让 AI judge 直接扮演真理机器，而是让它成为“显式化人类隐性标准”的工具。换句话说，judge 的价值不是替代人类判断，而是把人类判断中那些稳定、可迁移、可编辑的结构挖出来。

如果把这个思路接到 RLVR / RLAIF 训练，真正有价值的不是一个 scalar reward，而是一个可演化的 evaluator stack：semantic layer 是 rubric，performance layer 是 distilled RM，case layer 是持续生成的 curriculum。论文把这条线画出来了，但训练闭环还留在 future work。

Other Discussion Roles / 其他讨论角色

Scientific Peer Reviewer

The paper has not been published yet and is currently submitted to a top conference where you’ve been assigned as a peer reviewer. Complete a full review of the paper answering all prompts of the official review form of the top venue in this research area (e.g., NeurIPS). This includes recommending whether to accept or reject the paper.

论文问题重要：开放式对话没有唯一 ground truth，静态基准也会随模型进步而失效。方法亮点是将 rubric 与 case 双向迭代，并用硬门槛约束案例质量；实验呈现了人类种子、生成样本、基线比较和收敛曲线。主要疑点是证据外推：论文报告的测试规模和人工种子来源，是否足以代表真实对话分布；规则迭代可能导致对既有评测信号过拟合；多模型与人工标签的一致性不等同于用户效用。应更清楚报告独立留出集、标注者一致性、不确定性与跨域迁移。以 NeurIPS 常见维度判断，技术可靠性和重要性有价值但验证范围与泛化证据尚有限。建议：Weak Reject；置信度：中。

Archaeologist

This paper was found buried under ground in the desert. You’re an archeologist who must determine where this paper sits in the context of previous and subsequent work. Find and report on one older paper cited within the current paper that substantially influenced the current paper and one newer paper that cites this current paper.

较早的脉络可从 Zheng 等人的 MT-Bench / Chatbot Arena（2023）理解：它将 LLM-as-a-judge 与人类偏好比较带入开放式生成评价，是 GrowLoop 所处评测范式的重要先例；但“实质影响”这里只依据论文引用关系与主题相邻作有限判断，不声称因果。对后续引用，本次截至 2026-10-23 的页面材料未提供可核验的 citing-paper 记录；在未完成可靠引文索引交叉验证前，不报告任何新论文名称。GrowLoop 在谱系中的定位，是尝试使对话评测标准与题目集合随反馈维护，而不只是提出另一个固定榜单。

Academic Researcher

You’re a researcher who is working on a new project in this area. Propose an imaginary follow-up project not just based on the current but only possible due to the existence and success of the current paper.

设想后续项目“跨社群评测规范互操作层”：前提是 GrowLoop 式系统能持续产生带版本的 rubric 与案例。它维护不同社群（客服、陪伴、教育）对同一交互的并列评价轴，追踪规范何时分歧、何种案例促成修订，并通过盲测评估变更前后的模型排序是否稳定。关键新问题不是继续扩题，而是如何在保留社群价值差异的同时定义可审计的版本迁移。此为研究设想，不是论文已验证能力。

Industry Practitioner

You work at a company or organization developing an application or product of your choice (that has not already been suggested in a prior session). Bring a convincing pitch for why you should be paid to implement the method in the paper, and discuss at least one positive and negative impact of this application.

产品建议：为多语言语音客服构建内部回归评测服务，人工运营人员提供种子 rubric 和典型对话，系统持续提出候选场景并在发布前通过硬门槛检查；付费理由是减少人工重复整理回归集的负担，并将评分规则显式化、可审计。正面影响是更早发现不恰当或答非所问的回复；负面影响是生成案例若不能覆盖方言、低频群体或特殊语境，会形成虚假的安全感，且 rubric 可能固化组织偏好。部署需人工审核变更、隐私脱敏和按用户群体分层监测；这些是应用建议，不是论文产品事实。

Hacker

You’re a hacker who needs a demo of this paper ASAP. Implement a small part or simplified version of the paper on a small dataset or toy problem. Prepare to share the core code of the algorithm to the class and demo your implementation. Do not simply download and run an existing implementation – though you are welcome to use (and give credit to) an existing implementation for “backbone” code.

可做纸面 toy demo：用 6 条合成对话、两条显式规则（是否回应用户请求、是否包含无关扩写），人工给 0/1 标签；每轮计算规则判断与标签的分歧，将重复出现的漏判转换为候选规则，再用两条未见对话回归测试。核心伪代码：`for case in seeds: errors += compare(rubric(case), label(case)); rubric = propose_rule(errors); evaluate(rubric, heldout)`。这只演示“从错误提出规则并在留出案例检查”的局部思想，不包含 GrowLoop 完整的 CSP、多 agent 生成或五项门槛，也未实际运行；没有调用或冒充现成实现。

Private Investigator

You are a detective who needs to run a background check on one of the paper’s authors. Where have they worked? What did they study? What previous projects might have led to working on this one? What motivated them to work on this project? Feel free to contact the authors, but remember to be courteous, polite, and on-topic.

本页不联系作者。仅凭当前可核验论文页面，不能可靠建立某位作者的完整任职、学习经历、此前项目或个人动机；团队署名与论文主题不足以支持这些推断。应只使用作者公开机构主页、公开履历或论文记录逐项核实，并区分自述经历和推测。本次不补写未经核实的个人背景，也不对作者动机作心理归因。

Social Impact Assessor

Identify how this paper self-assesses its (likely positive) impact on the world. Have any additional positive social impacts left out? What are possible negative social impacts that were overlooked or omitted?

论文的直接目标是提升人类相似度对话评价基准的持续性与可辨别性；其潜在正面影响是使对话系统评测更系统、便于暴露错误行为。进一步的正面可能包括帮助团队发现不同模型在特定互动类型上的短板。潜在负面包括将某种“像人”的偏好误当普遍规范、生成案例分布偏置、评分规则被针对性优化，以及对话数据带来的隐私风险。论文实验不等于现实社会影响评估；上线使用应做代表性审查、数据治理和规范版本回溯。

Reference / Evidence

arXiv Abstract Page

https://arxiv.org/abs/2605.28882

元数据、版本、作者、摘要与 PDF 链接。本文使用 arXiv v2，updated 2026-06-10。

arXiv PDF

https://arxiv.org/pdf/2605.28882

论文正文、图表、实验设置和附录。PDF 共 37 页。

GitHub Locator

https://github.com/AMAPVOICE/GrowLoop

用户提供的代码链接；检索时 GitHub API 与页面均返回 404 / Repository not found，因此本页仅将其列为 locator，不使用其内容。

Reading Boundary

本页只使用公开 arXiv 论文及公开可检索链接，不暴露本地 source 包、构建脚本路径或私有运行日志。所有定量结果均来自论文正文或附录表格。