← 科研空间 首页
arXiv:2604.27699 CVPR 2026 模板 深度阅读 · 2026-08-18

ValuePlanner：用价值驱动具身智能体的层次化框架

Bridging Values and Behavior: A Hierarchical Framework for Proactive Embodied Agents
Chunhui Zhang, Yuxuan Wang, Aoyang Qin, Yi-Long Lu, Kunlun Wu, Yizhou Wang, Wei Wang · BIGAI / 北京大学 / 清华大学

📄 原版 PDF (arXiv) 📎 arXiv 页面

先给结论

ValuePlanner 解决了一个很根本的问题：当没有人给智能体下达任务时，它该做什么？

现有的具身智能体要么是"被动的"——等待外部指令才行动（如 ReAct、Plan-and-Solve）；要么是"反应性的"——只在内部状态失衡时才被触发（如饥饿驱动）。ValuePlanner 提出了一种价值驱动的范式：智能体内部持有一个基于 Schwartz 价值理论的 7 维偏好向量，通过 LLM 推理价值权衡来生成抽象子目标，再用经典 PDDL 规划器将其落地为可执行动作序列，整个过程形成感知—审议—规划—行动的闭环。

一句话总结
用 LLM 做"该做什么"的价值审议，用 PDDL 规划器保证"怎么做"的可执行性，两者分层协作，让智能体在没有外部指令时也能主动、连贯地行动。
17.08累积价值增益 ΔV（最高）
16.07动作多样性（最高）
7 维价值系统维度
ValuePlanner 概念对比图
图 1：三种智能体认知范式对比。（左）任务驱动：被动执行外部指令。（中）需求驱动：反应性满足内部状态（如清洁度低才打扫）。（右）ValuePlanner 价值驱动：智能体拥有高层价值框架（如"管理"和"安全"），通过价值权衡主动决策优先做什么。

核心贡献

  1. 层次化价值驱动框架：基于 Schwartz 基本价值理论，用 7 维偏好向量参数化智能体的"人格"，实现结构化的价值权衡。
  2. 神经-符号结合的 ValuePlanner 架构：LLM 负责抽象价值审议（Generator-Critic 循环），PDDL 规划器（Fast Downward）负责动作落地，闭环 Adjustment 机制在每次子目标执行后动态优化剩余计划。
  3. 价值中心评估体系：超越任务成功率，测量累积价值增益（ΔV）、偏好对齐（τw）、动作多样性，并用人类研究验证 LLM 评估器的可靠性。

研究动机

从"执行者"到"决策者"的跨越

当前具身 AI 在感知方面进展巨大——3D 场景重建、物体识别、结构化表示——但大多数智能体仍然是反应性的：只有收到外部指令才行动。它们的认知是"执行中心"的：擅长解决"怎么做"某任务，却无法决定"做什么"。

已有的主动感知研究让智能体能策略性地移动和观察以最大化信息增益，但信息驱动探索仍然是工具性的——它在为预定义目标优化感知，而非生成自主目标。一个真正自主的智能体应该为价值维护而行动，而非为信息获取而行动。比如，一个重视"管理"（Stewardship）的智能体应该主动检查和整理环境，即使没有明确指令。

核心挑战

挑战一：价值冲突仲裁。当智能体同时饥饿且房间混乱时，关键问题不是"怎么吃"或"怎么打扫"，而是"先做哪个？"这需要一个关于价值之间关系的模型。

挑战二：长程规划。确定了优先级后，还需在巨大的组合动作空间中找到实现抽象价值的具体动作序列。核心困难在于在高维抽象价值空间和巨大组合动作空间上的联合优化。

为什么选择 Schwartz 价值理论

论文选用 Schwartz 基本价值理论作为价值系统的理论基础，这是因为它提供了经验验证过的人类价值连续空间模型，将价值描述为带有内在权衡的相关维度（如"刺激" vs "安全"），而非独立目标。这为建模价值仲裁提供了经验基础。

为什么不能只用 LLM 或只用符号规划器

纯神经方法（如 LLM 规划器）能灵活审议但容易幻觉、违反物理约束；纯符号规划器保证可验证但缺乏解释非结构化状态的能力。论文主张不是折中，而是有意的关注点分离：让 LLM 做它擅长的抽象价值推理，让 PDDL 规划器做它擅长的可验证动作落地。

数学表示及建模

问题设定

环境建模为马尔可夫设定。完整状态由两部分组成：

$$s_t = \langle s_t^{env},\, s_t^{agent} \rangle$$

其中 $s_t^{env}$ 是外部环境状态，用符号谓词表示（如 on_surface(apple_1, table_1)、is_open(fridge_1)）；$s_t^{agent}$ 是智能体内部生理状态（如 energy、satiety）。智能体从离散符号动作集 $\mathcal{A}$ 中选择动作 $a_t$，通过转移函数 $p(s_{t+1} \mid s_t, a_t)$ 到达新状态。

与传统 RL 的关键区别

这里没有外部奖励函数 $R(s,a)$ 也没有外部目标 $G$。智能体的目标是内生的：主动、自驱动地产出自己的目标，最大化长期内在福祉。

内在价值系统：从 Schwartz 10 维到 7 维

Schwartz 理论原有 10 个动机类别。论文针对家庭场景做了三项调整：

Schwartz 原始价值 调整方式 结果维度
Security (personal) 拆分为身体和环境两方面 Security-Physiological, Security-Environmental
Hedonism 保留 Hedonism
Stimulation 保留 Stimulation
Achievement 保留 Achievement
Benevolence + Conformity (rules) 合并为"培育和维护"维度 Stewardship
Self-Direction (thought) 部分融入新维度 Enrichment (部分)
Power, Tradition, Universalism 移除（单智能体家庭无对应场景） —
(新合成) 新引入：对日常活动的仪式化投入 Enrichment

最终 7 维：Security-Physiological（身体舒适）、Security-Environmental（环境安全）、Hedonism（即时享乐）、Stimulation（新奇探索）、Achievement（成就精通）、Stewardship（管理培育）、Enrichment（过程充实）。

"人格"（persona）定义为静态偏好向量 $\mathbf{w} \in \mathbb{R}^N$（$N=7$，$w_i \ge 0$），每个 $w_i$ 编码价值维度 $i$ 的主观重要性。

累积价值增益

智能体的目标是找到一条轨迹 $\tau = (s_0, a_0, \dots, s_T)$ 最大化累积价值增益。单步价值增益定义为 $N$ 维向量 $\Delta \mathbf{V}_t(a_t \mid s_t, h_{t-1})$，总主观价值增益为：

$$\Delta V(\tau) = \sum_{t=1}^{T} \mathbf{w}^T \Delta \mathbf{V}_t(a_t \mid s_t, h_{t-1})$$
这个公式的精髓：动机因式分解

$\Delta \mathbf{V}_t$ 是客观向量，表示世界中可测量的变化（如"清洁度提升 5 单位"、"知识增长 2 单位"）；$\mathbf{w}$ 是主观人格，对这些变化赋予重要性。这种因式分解让我们只需修改 $\mathbf{w}$ 就能实例化多样、连贯的人格。

与强化学习价值函数的区别

方面 RL 价值函数 本文 ΔV(τ)
计算时机 策略依赖的期望 事后计算已实现轨迹
奖励来源 外部标量奖励 多维内在增益向量 × 人格
标量化 固定标量奖励 由 persona 线性加权

价值函数的三个关键性质

上下文依赖：动作的价值高度依赖执行时的状态。例如 read_book 只有在暗房间里先执行 toggle_light(on) 后才对 Enrichment 有贡献。这意味着规划过程必须评估动作在其执行上下文中的效用。

边际递减：防止智能体在没有外部"完成"信号时陷入重复非生产性循环（如反复擦拭已清洁的桌面）。递减由评估器在轨迹评分时基于动作名、谓词参数和效果判断语义相似度，而非硬编码衰减函数。

客观一致评分：每个维度的增益计算必须客观（只依赖轨迹）且一致（相同轨迹始终产生相同分数），这样才能从单一世界模型实例化多样连贯的人格。

算法流程 / 方法

ValuePlanner 的核心优化问题：找到策略 π 生成动作序列 A 来最大化轨迹价值：

$$\max_{\mathbf{A} = (a_0, \dots, a_T)} \Delta V(\tau_{\mathbf{A}})$$

直接在完整原子动作空间中规划不可行。ValuePlanner 用分层结构将问题分解为两层。

ValuePlanner 架构图
图 2：ValuePlanner 架构。高层价值审议器决定"做什么"来最大化价值，符号动作落地器决定"怎么做"——用经典规划将抽象子目标转为可执行动作序列。
┌─────────────────────────────────────────────────────┐ │ 感知 (Perception) │ │ s_t = ⟨ s_env, s_agent ⟩ (PDDL predicates) │ └──────────────────────┬──────────────────────────────┘ ▼ ┌─────────────────────────────────────────────────────┐ │ 高层：价值审议器 (LLM) │ │ │ │ Generator ──► 子目标序列 G │ │ ▲ │ │ │ │ ▼ │ │ Critic ◄── 审议反馈 (价值最优性 + 计划质量) │ │ │ │ 输出：子目标序列 g₁, g₂, ..., gₖ │ └──────────────────────┬──────────────────────────────┘ ▼ ┌─────────────────────────────────────────────────────┐ │ 低层：符号动作落地器 (PDDL Planner) │ │ │ │ Fast Downward 将 gᵢ 转为原子动作序列 │ │ 失败 → Adjustment (根因分析) │ │ 成功 → 执行 → Adjustment (重新优化剩余计划) │ └──────────────────────┬──────────────────────────────┘ ▼ ┌─────────────────────────────────────────────────────┐ │ 执行 (Execute) │ │ s_{t+1} → 更新轨迹 τ → 回到感知 │ └─────────────────────────────────────────────────────┘

高层：价值审议器 (High-Level Value Reasoner)

将原始优化问题重新表述在抽象子目标空间中：

$$\max_{\mathbf{G} = (g_1, \dots, g_K) \in \mathcal{G}_{sub}^*} \Delta V(\tau_{\mathbf{G}})$$

其中 G 是子目标序列，τ_G 是由此产生的轨迹。实现采用 LLM + 迭代审议循环的 Generator-Critic 机制。

Generator（生成器）

Generator 提出候选子目标序列 G 来最大化期望价值增益。它受两组关键约束：

Critic（审议器）

Critic 作为审计者，执行两部分分析：

  1. 价值增益最大化分析：模拟 G 产生的状态变化序列，计算各维度的客观增益，然后挑战计划的最优性——是否考虑了所有相关价值维度？是否做了最佳权衡？是否遗漏了高价值机会？
  2. 计划质量分析：检查是否遵守质量规则（持久状态目标、非瞬态），评估效率（如可合并的子目标）。

低层：符号动作落地器 (Symbolic Action Grounder)

Action Solving（动作求解）

将抽象子目标（如"泡咖啡"）转为可执行原子动作序列，方法是将每个子目标建模为经典 PDDL 规划问题，用 Fast Downward 求解。这个设计提供了形式化验证：规划器失败（如"no plan found"）不只是错误，而是子目标在当前状态不可达的证明，有效剪除 LLM 幻觉。

Adjustment（调整机制）

闭环执行的核心。两个功能：

与已有方法的区别

Plan-and-Solve：刚性开环，缺乏 Critic 预执行审议和 Adjustment 后执行调整。

Reflexion：有闭环自纠但缺乏结构化 Critic 来确保初始计划价值最优。

LLM-DP：最接近的先验工作，也交替使用目标提议器和经典规划器，但仅在失败时重新规划。ValuePlanner 的关键区别在于目标不同——LLM-DP 处理外部指定任务，ValuePlanner 处理内部生成的价值驱动计划，且在每次成功执行后都触发 Adjustment。

执行循环算法

输入: 初始状态 s₀, 人格 w 输出: 轨迹 τ 初始化 s_t ← s₀, τ ← ∅ 当 agent 活跃时: │ 高层：审议子目标 │ G_sub ← HighLevelValueReasoner(s_t, w) // Generator-Critic 循环 │ │ 当 G_sub 非空时: │ │ g_current ← G_sub.pop() │ │ 低层：落地子目标 │ │ A_pddl ← SymbolicActionGrounder(g_current, s_t^env) │ │ │ │ 如果 A_pddl 失败: │ │ G_sub ← Adjustment(s_t, w, "PDDL Fail", G_sub) │ │ continue │ │ │ │ 执行原子动作 │ │ s_{t+1}, τ_actions ← Execute(A_pddl, s_t) │ │ τ ← τ ∪ τ_actions │ │ s_t ← s_{t+1} │ │ │ │ 主动调整 │ │ G_sub ← Adjustment(s_t, w, "Success", G_sub)

LLM 配置

模块 模型 参数
Generator gpt-4.1 Temperature = 0.8
Critic gpt-4.1 Temperature = 0.2
Adjust gpt-4.1 Temperature = 0.2
Evaluator gpt-5-thinking Thinking budget = high

Fast Downward 版本 24.06+，使用 LAMA portfolio，时间限制 15 秒/子目标。

实验设计

环境：TongSim

基于 Unreal Engine 的高保真家庭环境，包含 94 个物体实例，覆盖家具、家电、日用品和环境交互物。状态空间用 PDDL 谓词表示，动作空间为符号化 PDDL 动作。

类别 核心 PDDL 类型 数量 代表实例
家具与存储 bed, chair, supporter, container_with_door 36 bed_1, diningTable_1, cabinet_1
家电与电子 appliance, switch, remote 22 ceilinglamp_1, tv_1, coffeeMachine_1
日用品与消耗品 food, plate, cup, book, rag 28 apple_1, plate_1, book_1
环境交互物 door, dirt, toy 8 door_1, dirt_1, buildingBlock_1

动作空间

19 种符号动作原语，分四类：导航与姿态（walk_to_object, sit_on, sleep_on...）、操作（pick_up, put_in, put_on, open, close...）、状态修改（switch_on, wipe, wash_object...）、消费与休闲（eat, drink, read, play_in_hand, look_at）。

场景设计

10 个场景 = 5 个不同人格 × 2 种初始内部状态（如"休息充足且饱腹" vs "疲惫且饥饿"）。这允许测试智能体对稳定偏好和动态内部需求的适应能力。

评估指标

指标 含义 衡量
累积内在价值 ΔV(τ) 轨迹总价值 效果性：能否忠实优化分配的价值偏好
偏好对齐 τw 行为真实性 从行为反推人格，与真实人格计算 Weighted Kendall τ
动作多样性 行为丰富度 轨迹中独特动作类型数，检测退化循环

前两个指标由 LLM 评估器（gpt-5-thinking）打分。

基线方法

方法 代表范式 特点
ReAct 近视逐步推理 每步独立决策，无全局计划
Reflexion 非结构化自适应 通用语言反馈自纠
Plan-and-Solve 刚性开环规划 先生成全局计划再执行，无细化机制
D2A 需求驱动 LLM 采样生成计划，基于内部需求

所有方法都获得了相同的七维价值维度详细描述，确保公平比较。

实验结果

主结果

方法 累积价值 ΔV ↑ 偏好对齐 τw ↑ 动作多样性 ↑
ReAct 7.60 ± 3.03 0.81 ± 0.14 7.27 ± 1.98
Reflexion 11.48 ± 5.09 0.76 ± 0.21 10.5 ± 2.74
Plan-and-Solve 11.80 ± 5.69 0.79 ± 0.17 10.6 ± 3.92
D2A 11.91 ± 4.88 0.75 ± 0.17 10.10 ± 2.30
ValuePlanner (Ours) 17.08 ± 7.15 0.80 ± 0.17 16.07 ± 4.82

ValuePlanner 在累积价值增益和动作多样性上均显著领先。ΔV 从最强基线的 11.91 提升到 17.08（+43%），动作多样性从 10.6 提升到 16.07（+52%）。偏好对齐与最强基线相当（0.80 vs 0.81），说明高价值不是靠单一价值维度最大化达到的。

为什么 ValuePlanner 更好？

论文的洞察是LLM 更擅长验证计划而非从零生成。Critic 提供结构化的价值驱动反馈，让 Generator 在执行前迭代优化。而 ReAct 近视无全局一致性，Plan-and-Solve/Reflexion 有全局计划但无结构化细化，D2A 依赖 LLM 原始生成能力。

反奖励作弊分析

高 ΔV 是否靠"找一个高价值动作反复执行"刷分？证据反驳：

价值系统验证

由于评估依赖 LLM 量化抽象概念，论文用两项人类研究验证 LLM 评估器的可靠性：

LLM 预测价值增益 vs 人类偏好
图 3a：LLM 预测的价值增益与人类偏好之间的强相关性。

人类研究 1（价值增益对齐）：13 名参与者对不同智能体产生的成对轨迹进行比较，判断哪个更好地满足各价值维度。基于 20 次比较 × 5 次重复，结果显示 LLM 评估器分数与人类判断强相关。

人类感知的偏好对齐分布
图 3b：人类推断的偏好对齐分布相对随机基线明显右移，证明轨迹确实有意义地对齐了底层价值。

人类研究 2（人类感知偏好对齐）：参与者看不到真实人格 w，仅从 16 条轨迹的行为推断七维价值排序。将人类准确率分布与 500 次随机排列基线对比，结果明显右移——证明系统产生的轨迹不是随意的，而是有意义地对齐了底层价值偏好。

状态与人格调节

固定人格不同内部状态
图 4a：固定人格（Achiever），改变初始状态（休息充足 vs 疲惫）。疲惫时智能体正确优先"安全"（睡眠），然后追求"成就"目标。
相同状态不同人格
图 4b：相同初始状态（中性），改变人格（Hedonist vs Steward）。智能体产生质上不同的轨迹——享乐主义者优先休闲，管理者优先清洁。

这证实了 ValuePlanner 能在动态内部需求和稳定人格偏好之间正确仲裁。

价值维度关系

验证计算模型是否捕捉了 Schwartz 理论预测的协同与冲突结构。选择两对代表性价值：

协同对：安全环境 vs 管理
图 5a（左上）：协同对——Security-Environmental 与 Stewardship 的子目标级增益呈强正相关（如"整理房间"同时提升两者）。
冲突对：享乐 vs 管理
图 5b（右上）：冲突对——Hedonism 与 Stewardship 的增益集中在坐标轴上，确认了任务级别的"二选一"特化。
协同轨迹
图 5c（左下）：轨迹级别——协同对随联合权重增加同时增长。
冲突轨迹
图 5d（右下）：轨迹级别——冲突对随权重从一维转向另一维，描绘出清晰的权衡前沿。

两个层面的证据表明：价值结构既在任务语义中被捕捉（子目标级），也在 ValuePlanner 的长程审议中被捕捉（轨迹级）。

消融实验

Critic 审议深度

变体 ΔV ↑
0 轮（仅 Generator） 12.42 ± 4.71
2 轮 14.61 ± 6.90
4 轮（主实验） 17.08 ± 7.15

Critic 轮次增加持续提升计划质量。仅 Generator 时有微妙的价值冲突和低效；加入 Critic 后 ΔV 逐步提升。

Adjustment 机制

变体 ΔV ↑ 执行失败率 ↓
无 Adjustment（开环） 18.30 ± 7.94 5.13%
完整 Adjustment 17.08 ± 7.15 2.97%

有趣发现：开环的 ΔV 反而略高（18.30 vs 17.08），但失败率更高（5.13% vs 2.97%）。这说明 Adjustment 的主要贡献不是纠错而是计划优化——通过在每次成功执行后重新评估剩余子目标列表，智能体能机会主义地合并子目标、减少冗余遍历，产生质上更连贯的长程轨迹。ΔV 的微小下降可能是因为 Adjustment 更注重全局连贯性而非单步价值最大化。

我的评论

做得好的地方

问题定义精准。"没有任务时该做什么"是一个被多数具身 AI 工作回避的根本问题。将价值驱动与任务/需求驱动做了清晰的三段式区分（被动 → 反应 → 主动），动机阐述有力。

架构设计合理。LLM 做抽象审议 + PDDL 做动作落地的分层不是新想法，但将它重新定位到"价值仲裁"这个不同目标上是有意义的。Generator-Critic 循环利用了 LLM 擅长验证胜过生成这一已知洞察，Critic 的两部分分析（价值最优性 + 计划质量）结构清晰。

评估体系有诚意。不只用 ΔV，还引入偏好对齐和动作多样性来检测退化行为，并用两项人类研究验证 LLM 评估器的可靠性。价值维度关系分析（协同 vs 冲突）从两个层面提供证据，与 Schwartz 理论预测对照，比纯数字表格有说服力得多。

值得质疑的地方

评估闭环的循环风险。Generator 和 Critic 用 gpt-4.1，Evaluator 用 gpt-5-thinking——全部是 LLM。虽然做了人类研究验证，但人类研究 1 只有 13 人 × 20 比较 × 5 重复，研究 2 只有 16 轨迹 × 3 判断。样本量偏小，且未报告统计显著性检验，只有"强相关"和"明显右移"的定性描述。如果 LLM 评估器与人类判断在某些边缘 case 上系统偏离，整个评估体系的基础就会动摇。

Adjustment 消融结果耐人寻味。开环 ΔV 反而更高（18.30 vs 17.08），论文解释为 Adjustment 注重全局连贯性。但这也意味着 Adjustment 可能在某些场景下牺牲了价值最大化来换取连贯性——而 ΔV 是论文定义的首要目标。如果连贯性真的更重要，为什么不用包含连贯性的复合指标？如果 ΔV 才是目标，为什么主实验用 Adjustment 版本而非开环版本？

价值增益的量化缺失。论文定义了 ΔV_i 的 0-10 分制，但未公开具体的评分标准或示例打分。所有打分都由 LLM 评估器完成，打分 prompt 虽然在附录中给出，但缺乏跨场景一致性的定量验证。同一轨迹打分的方差是多少？不同 LLM 评估器的方差呢？

静态符号域的根本局限。论文在结论中坦诚了这一点：智能体能在给定规则内推理但不能更新规则（如不能发现碗可以当盖子用）。这不只是未来工作的小扩展——它触及了价值驱动框架的核心：如果价值系统是固定的但世界是变化的，智能体如何处理其价值框架中不存在的全新情况？

实验规模有限。10 个场景（5 persona × 2 状态），94 个物体，19 种动作。这个规模足以证明概念，但不足以支撑关于"proactive autonomy"的更强声称。特别是，价值冲突仲裁的复杂度在这个规模下可能还不足以暴露框架的瓶颈。

One More Thing

价值向量作为通用 API

本文的 $\mathbf{w}$ 因式分解有一个未被充分挖掘的推论：如果价值增益 $\Delta \mathbf{V}_t$ 是客观的（只依赖世界和轨迹），那么 同一个世界模型可以服务无限多种人格，只需改 $\mathbf{w}$。这意味着价值向量可以成为智能体之间的可交换接口——一个智能体可以将自己的 $\mathbf{w}$ 传给另一个，后者立即获得等价的行为偏好。进一步，多智能体协作可以建模为多个人格向量的协商：每个智能体提出对自己 $\mathbf{w}$ 最有利的子目标，然后通过某种社交选择机制（如 Nash 谈判或功利主义聚合）决定联合计划。这个方向不需要新的架构组件——只需要在现有框架上添加一个多 $\mathbf{w}$ 协商层——但它打开了一从单智能体价值驱动到多智能体价值协商的路径。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

Scientific Peer Reviewer

The paper has not been published yet and is currently submitted to a top conference where you’ve been assigned as a peer reviewer. Complete a full review of the paper answering all prompts of the official review form of the top venue in this research area (e.g., NeurIPS). This includes recommending whether to accept or reject the paper.

本论文使用 CVPR 2026 模板投稿，按 CVPR 审稿维度评审如下：

原创性（8/10）：将 Schwartz 人类价值理论引入具身智能体来驱动主动行为是一个新颖且有意义的问题重构。神经-符号分层架构本身不是全新组件，但将其重新定位到"价值仲裁"而非"任务完成"是有价值的。价值中心评估体系（ΔV + τw + 多样性）是原创贡献。

技术质量（7/10）：Generator-Critic 循环和 PDDL 落地的设计合理且实现清晰。但评估闭环存在 LLM 自评的循环风险——Generator/Critic/Evaluator 全部基于 OpenAI 模型。人类研究样本量偏小（13人/16轨迹），缺少统计显著性检验。Adjustment 消融中开环 ΔV 反而更高的结果需要更深入的解释。

实验充分性（6/10）：10 个场景（5 persona × 2 状态）的规模对于验证概念可行，但对于支撑"proactive autonomy"这一较大声称偏弱。缺少对失败案例的系统分析——ValuePlanner 在什么情况下会产生低质量计划？

清晰度（8/10）：写作清晰，动机阐述有力，数学形式化严谨。附录提供了完整的 prompt 和配置细节，有利于复现。

推荐：弱接受（Weak Accept）。问题定义有价值，架构设计合理，但实验规模和评估闭环的可靠性需要加强。建议增加更多场景、报告人类研究的统计检验、分析失败案例。

信心度：4/5。

Archaeologist

This paper was found buried under ground in the desert. You’re an archeologist who must determine where this paper sits in the context of previous and subsequent work. Find and report on one older paper cited within the current paper that substantially influenced the current paper and one newer paper that cites this current paper.

更老的影响性论文：Schwartz (2012), "An Overview of the Basic Value Theory of Human Values"

这篇论文是 ValuePlanner 价值系统的理论根基。Schwartz 提出了 10 个基本人类价值维度的经验模型，描述了它们之间的协同与冲突关系。ValuePlanner 将这个原本用于社会心理学的人格理论适配到了具身智能体场景，通过拆分/合并/移除得到了 7 维家庭价值系统。没有 Schwartz 理论提供的经验验证的价值结构和关系模型，ValuePlanner 的价值仲裁就没有理论基础。

更新的引用论文：截至 2026 年 8 月 18 日，这篇 arXiv:2604.27699 论文发布时间较短（2026年4月），尚未发现可验证的引用该论文的新发表工作。arXiv 预印本的引用积累通常需要数月时间。此处标注搜索边界：检索范围为 Google Scholar 和 Semantic Scholar，检索日期 2026-08-18，未找到可验证的引用。不虚构引用论文。

Academic Researcher

You’re a researcher who is working on a new project in this area. Propose an imaginary follow-up project not just based on the current but only possible due to the existence and success of the current paper.

项目名称：ValueLearn — 从交互中习得和演化价值体系

ValuePlanner 的一个核心局限是价值系统完全静态——7 维偏好向量 w 是预设的，PDDL 域规则也是固定的。ValueLearn 提出一个闭环：智能体在执行价值驱动行为后，从环境反馈和"价值增益历史"中反推和修正自己的价值体系。

具体而言：(1) 当智能体发现某个子目标产生的实际价值增益远低于预期（如"打扫了但没感到管理价值提升"），触发价值维度定义的修订——也许在当前环境中"Stewardship"需要包含新的子目标类型。(2) 当智能体遇到其 7 维框架无法解释的情况（如需要照顾新出现的宠物——这属于已移除的 Benevolence 维度），它能提议扩展价值维度。(3) 使用论文中已验证的 LLM 评估器作为反馈信号源，通过"价值增益残差"驱动价值体系的增量更新。

这个项目只有在 ValuePlanner 成功后才可能：(a) ValuePlanner 的客观增益向量 ΔV_t 提供了可比较的反馈信号；(b) 论文的人类研究验证了 LLM 评估器与人类判断的对齐，使得自动化的价值修订有可靠性基础；(c) Generator-Critic 循环已经展示了 LLM 可以对价值计划做结构化审议，扩展到审议价值体系本身是自然延伸。

Industry Practitioner

You work at a company or organization developing an application or product of your choice (that has not already been suggested in a prior session). Bring a convincing pitch for why you should be paid to implement the method in the paper, and discuss at least one positive and negative impact of this application.

产品提案：ValueHome — 可个性化定制的家庭辅助机器人价值系统

场景：面向独居老人或残障人士的家庭辅助机器人。用户或其家属通过一个简单界面设定"价值偏好"（如"安全第一" vs "自主探索" vs "环境整洁"），机器人据此自主决定日常行为优先级——何时提醒用药、何时整理房间、何时鼓励活动——而非机械执行固定日程。

为什么值得投资：当前辅助机器人要么是被动响应指令（"帮我拿水"），要么是固定日程（"每天 10 点提醒吃药"）。ValuePlanner 的价值驱动框架可以让机器人根据用户当前状态和长期偏好主动选择最有价值的行为。例如，当老人疲惫时优先安全（休息提醒），当精力好时鼓励 Stimulation（散步建议）。PDDL 落地保证动作的物理可行性，降低安全风险。

正面影响：提升独居老人的生活质量和自主性，减少对人工护理的依赖。价值偏好可随用户状态变化调整（康复期 vs 急性期），比固定日程更人性化。

负面影响：价值偏好来自用户或家属设定，但用户的"最佳利益"由谁定义？如果家属设定了过于保守的"安全优先"人格，可能限制老人的自主决策权，形成技术性的过度保护。更深层的伦理问题：当机器人基于"价值"替用户做决策时，它是在服务用户还是在替代用户的自主性？这需要在产品设计中引入用户对价值体系的可审查和可覆盖机制。

Hacker

You’re a hacker who needs a demo of this paper ASAP. Implement a small part or simplified version of the paper on a small dataset or toy problem. Prepare to share the core code of the algorithm to the class and demo your implementation. Do not simply download and run an existing implementation – though you are welcome to use (and give credit to) an existing implementation for “backbone” code.

简化 Demo 设计：Toy ValuePlanner

核心算法路径：给定一个简化的 3 室家庭（厨房、卧室、客厅），7 个物体，3 维价值（Security-Phys、Hedonism、Stewardship），用 LLM Generator-Critic 生成子目标，用简单 PDDL 规划器落地。

关键代码路径（伪代码展示核心逻辑，未实际运行）：

import openai from planner import fast_downward # backbone: PDDL solver # 3-dim value system VALUES = ["security_phys", "hedonism", "stewardship"] def generator(state, persona_w, round_num, prev_critique=None): """LLM proposes subgoal sequence to maximize w^T * delta_V""" prompt = f""" You are a value-driven agent. Your persona: {persona_w} Current world state (PDDL): {state} Propose 3-5 subgoals as PDDL predicates to maximize value. Focus on WHAT (desired state), not HOW (actions). """ if prev_critique: prompt += f" Previous critique: {prev_critique} Revise accordingly." return openai.chat(model="gpt-4.1", prompt=prompt, temp=0.8) def critic(subgoals, persona_w, state): """LLM evaluates: is this plan value-optimal + high-quality?""" prompt = f""" Critique this plan: {subgoals} Persona weights: {persona_w} 1. Value Gain: Does it maximize w^T * delta_V? 2. Plan Quality: Durable goals? No transient states? """ return openai.chat(model="gpt-4.1", prompt=prompt, temp=0.2) def ground_and_execute(subgoal, state): """PDDL planner translates subgoal to action sequence""" plan = fast_downward(subgoal, state, domain="toy_home.pddl") if plan is None: return None, "FAIL: unreachable subgoal" new_state = simulate(plan, state) return new_state, plan def valueplanner_loop(s0, w, max_rounds=4): state = s0 trajectory = [] # High-level: Generator-Critic loop critique = None for r in range(max_rounds): subgoals = generator(state, w, r, critique) critique = critic(subgoals, w, state) if "approve" in critique.lower(): break # Low-level: Ground and execute each subgoal for g in subgoals: new_state, plan = ground_and_execute(g, state) if plan is None: # Adjustment: root-cause analysis g_fixed = adjust(g, state) # LLM diagnoses failure new_state, plan = ground_and_execute(g_fixed, state) if plan: trajectory.extend(plan) state = new_state # Adjustment: re-optimize remaining subgoals subgoals = adjust_remaining(state, w, subgoals) return trajectory

Backbone 代码来源：PDDL 求解使用 Fast Downward（Helmert 2006），LLM 调用使用 OpenAI API。Toy 环境的 PDDL domain 和 problem 文件需要手写。此 demo 代码未实际运行——要完整运行需要 Fast Downward 安装、PDDL 域文件、和 OpenAI API key。

Private Investigator

You are a detective who needs to run a background check on one of the paper’s authors. Where have they worked? What did they study? What previous projects might have led to working on this one? What motivated them to work on this project? Feel free to contact the authors, but remember to be courteous, polite, and on-topic.

调查对象：通讯作者 Wei Wang，BIGAI（北京通用人工智能研究院）

所属机构：根据论文署名，Wei Wang 在 BIGAI 的通用人工智能国家重点实验室工作。共同作者 Yizhou Wang 在北京大学计算机学院和通用人工智能国家重点实验室。第一作者 Chunhui Zhang 也在 BIGAI。Aoyang Qin 来自清华大学。

研究脉络：BIGAI 由朱松纯（Song-Chun Zhu）创立，长期专注于通用人工智能（AGI）研究，特别是在具身智能、视觉认知和认知架构方面有深厚积累。TongSim 环境（本文使用的实验平台）来自同一研究组的前期工作（论文引用 Peng et al. 2024），这表明 ValuePlanner 是该团队在具身智能体方向上的延续性工作。

可能的动机：从 BIGAI 的研究脉络来看，团队长期关注"认知架构"——不只是让 AI 完成任务，而是构建类似人类的认知框架。ValuePlanner 的"价值驱动"理念与 BIGAI 的"价值系统"研究线一致（此前团队在 BIGAI 价值学习、CUV 等方向有相关工作）。将社会心理学的 Schwartz 价值理论引入具身 AI，可能是受团队对"AI 应该有怎样的内在动机"这一核心问题的驱动。

声明：以上信息基于论文署名和公开的研究机构信息。未联系任何作者。如有不准确之处，以作者本人和机构的公开信息为准。

Social Impact Assessor

Identify how this paper self-assesses its (likely positive) impact on the world. Have any additional positive social impacts left out? What are possible negative social impacts that were overlooked or omitted?

论文的自我评估：论文将自身定位为"bridging intrinsic values and grounded behavior for autonomous agents"——为自主智能体提供连接内在价值和落地行为的结构化方法。隐含的正向影响是让 AI 从被动工具变为能主动维护用户福祉的助手。

额外的正面社会影响：

  • 个性化辅助：价值向量 w 的可调性使得同一系统可以服务不同需求的用户——老年人可能需要"安全优先"，儿童可能需要"探索优先"——无需重新开发。
  • AI 安全研究：ValuePlanner 的"客观增益 + 主观人格"因式分解为 AI 对齐研究提供了一个新视角：对齐问题可以部分分解为"客观行为评估"和"主观价值匹配"两个子问题。
  • 认知科学交叉：将 Schwartz 社会心理学理论计算化，为跨学科研究（AI + 心理学 + 认知科学）提供了具体案例。

被忽略或遗漏的负面社会影响：

  • 价值殖民风险：当"价值向量"由开发者或家属设定而非用户本人时，存在将外部价值强加于用户的"价值殖民"风险。特别是对弱势群体（老人、残障人士），他们的自主决策权可能被"为你好"的价值设定架空。
  • 价值体系的不可representativeness：Schwartz 理论基于人类价值的经验研究，但主要基于西方文化样本。将 Power、Tradition、Universalism 三个维度移除的决定，可能在不自觉中引入了文化偏见——这些维度在某些文化中可能正是家庭行为的核心动机。
  • LLM 评估器的系统性偏差：当所有价值评估都由 OpenAI 的模型完成时，价值判断的"客观性"实际上受 LLM 训练数据的文化和价值取向影响。如果 LLM 本身对"什么是好的行为"有系统性偏差，这个偏差会被嵌入整个评估闭环。
  • 自主性悖论：让 AI 更"自主"地做决策，可能在减少人类决策负担的同时减少人类的自主决策机会。长期来看，一个替你做所有价值决策的助手可能侵蚀你自己做价值判断的能力。

Reference / Evidence

arXiv:2604.27699 — ValuePlanner 原始论文
arXiv source package（TeX 源码）
Schwartz, S. H. (2012). An Overview of the Basic Value Theory of Human Values. Online Readings in Psychology and Culture.
Helmert, M. (2006). The Fast Downward Planning System. JAIR.
Peng et al. (2024). TongSim — 高保真家庭模拟环境. 论文中引用.
Yao et al. (2022). ReAct: Synergizing Reasoning and Acting. NeurIPS.
Shinn et al. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. NeurIPS.
Wang et al. (2023). Plan-and-Solve Prompting. ACL.
Wang et al. (2024). Simulating Desire-Driven Autonomy (D2A).
Dagan et al. (2024). LLM-DP: Dynamic Planning with LLMs. NeurIPS.
MIT MAS.S60, How to AI (Almost) Anything, Spring 2025 — Other Discussion Roles