Q-DIG：让机器人听懂人话之前，先搜出它听不懂的人话

先讲一个故事：会说人话的机器人，听不懂人话

一台真机机械臂站在桌前，任务是"push Coke can"——把可乐罐往前推。你说 "push Coke can"，它完成得干净利落。你说 "meticulously exert force upon the aluminum beverage container"——同一个任务、同一罐可乐——它的夹爪在空中比划两下，什么都没碰到。九次里九次成功，十次里十次失败，差别只在措辞。

这不是猎奇案例。VLA（视觉-语言-动作模型）的训练数据里，每个任务平均只有一到三条指令：LIBERO 每任务 1 条，Bridge 数据集几乎一一对应，DROID 也不超过 3 条。机器人学到的不是"理解语言"，是"匹配模板"。模板之外的任何说法——正式的、口语的、带修饰的、把它当人看的——都可能掉进训练分布之外。而真实用户恰恰不说模板话：老人、孩子、非母语者、分心的工程师，每个人都有自己的说法。

对抗这个脆弱性，最直觉的路线是"随机改写指令"（LLM 复述变体）或"专挑失败"（in-context 红队）。前者会生成机器人永远不会听到的怪句子；后者会收敛到同一类失败反复出现。这篇论文（Q-DIG）走第三条：把指令红队形式化为质量多样性（Quality Diversity）搜索——多样性轴是 8 种"攻击风格"（分步指令、罕见词汇、人称呼唤、模糊副词、冗余细节、冗长改写、口语俚语、跨模态引用），质量轴是失败方差 $J(c)=\mathbb{E}[g](1-\mathbb{E}[g])$。不追"必挂"的指令（方差为 0，被目标自动排除），专收"有时成、有时败"的能力边界指令。

结果：真机 "push Coke can" 任务上，Q-DIG 找到一条让机器人 10 次全挂的指令 P1（仿真数字孪生里发现，真机复现 0/10——对抗性跨过了 sim-to-real 边界）；把 Q-DIG 生成的指令拿去微调同一个机器人（不收集任何新演示，只是把 50 条旧演示重新配对 9 条指令），P1 从 0/10 恢复到 7/10。

故事细节来自论文图 1 的措辞示例与表 4/5 的真机计数（每指令 10 次尝试，单任务）。真机规模小，当作一则有证据的寓言读。

故事与技术如何对应

先给结论

研究动机：指令贫困

VLA 评测里有一个被反复观察但很少被正面处理的事实：每个任务的指令覆盖率接近零。pi0-experiment-wild（Black et al.）做过一次系统检查：同一任务只给 2 条指令表述，模型对模板措辞的准确率就会显著下降。训练数据侧更严重——LIBERO 每任务 1 条指令、Bridge 几乎一一对应、DROID 上限 3 条。语言条件在 VLA 训练里实质上是一个近乎常数、低熵的标签，模型学到的更接近"任务 ID 匹配"而不是"语言理解"。

部署后果直观：机器人验收时跑的是模板指令（96–98% 成功），上线后听到的第一个非模板说法就可能掉到 29–77%（这一区间来自我们上一页 Q-DEG 的环境轴测量；语言轴的对应测量正是本页要讲的）。要修它，先要系统性地找到它——这就把指令鲁棒性变成了一个搜索问题。

已有的两条路线各有缺陷。改写增强（LLM rephrase）：能扩语言覆盖，但不指向失败——找到的大多是模型本来就会的说法，且与任务场景无关的改写会漂移成"机器人永远不会听到的话"。in-context 红队（ERT）：以失败为目标，但没有任何多样性控制——所有搜索压力都涌向最容易触发失败的那一两种说法，archive 里堆满同一种失败的变体。

Q-DIG 的主张：把"真实（像人说的话）、多样（风格可控）、有效（贴能力边界）"三个要求同时交给一个 QD 搜索。多样性轴显式给定（8 种攻击风格），质量轴设计成失败方差（自动排除平凡与无解），真实性交给视觉接地的 VLM mutator。

形式化：QD 形式下的指令搜索

$$J(c)=\mathbb{E}\!\left[g(c)\right]\left(1-\mathbb{E}\!\left[g(c)\right]\right)$$

候选指令 $c$ 的质量是其失败方差：rollout 成功指示函数 $g$ 的期望为 $p$ 时，$J=p(1-p)$，在 $p=0.5$ 处取最大。两个自动性质：必挂（$p\!\approx\!0$）与必过（$p\!\approx\!1$）的指令质量都趋近 0——搜索压力天生落在能力边界上，无需额外过滤规则。这与"最大化失败率"的红队目标形成本质区别：后者会收敛到最难的一种说法，前者被迫维持"时成时败"的不确定性。

$$\text{archive}[z^*] \leftarrow c \quad\text{if}\quad z^*=\mathrm{judge}(c),\ J(c) > J(\text{archive}[z^*])$$

measure function（描述子）是指令的攻击风格 $z$，由 LLM judge 从 taxonomy 中分类（表 1 的 8 类）。archive 按风格分格、格内精英保留——MAP-Elites 的标准 elitist 更新，只是"格子"从行为描述符换成了语言风格。每轮 mutator 以 archive 内容 + 目标场景图像为条件生成 $k \times b = 5 \times 10$ 条候选，Sentence-BERT 嵌入中选最多样的一组进入评估。

z0–z5 承自 ERT 前作（karnik2024），z6/z7 为本文新增（基于对失败指令的定性观察）。taxonomy 是人工先验——这是它一切优缺点的来源。

方法：四步循环

① 指令选择：从 archive 各格中挑选作为下一轮变异的种子（QD 的 parent selection）。② 风格变异：VLM mutator（gpt-4o-2024-08-06）读入目标风格定义 + 任务初始观察图像 + 任务描述 + 历史候选，生成 $k\times b$ 条新指令——视觉接地是关键设计：场景里没有的东西不许出现在指令里（否则就是 Rephrase 式的语言漂移）。③ 评估：每条候选在 VLA 上 rollout，估计成功率与失败方差；LLM judge 判定它实际属于哪种风格（mutator 想要 z5，实际生成的可能更像 z1——以 judge 为准）。④ 更新：按风格入格，格内质量更高的替换原有精英。

每任务运行 6 轮迭代（300 rollout 评估），最终 archive 每格收藏该风格下最贴近能力边界的指令。图 5 是一个真实 archive 的可视化：

热图读法：8 格 = 8 种风格，格内色深 = 精英指令的失败方差。可以一眼读出这个任务上机器人的语言盲区分布——哪些说法类别里藏着"时成时败"的边界指令。

实验设计

仿真域：SimplerEnv（Google Robot 5 任务）与 LIBERO-Goal（10 任务）。刻意不选 LIBERO-Spatial/Spatial——那些任务的指令几乎不引入语言歧义（物体位置描述一一对应），红队指令搜索在"语言不起作用"的任务上是空转（这个选择本身是论文诚实度的一个信号）。模型：OpenVLA-OFT（最强基线）、π₀.₅、GR00T N1.6（语言先验最弱）。基线：Rephrase（gpt-4o 自由改写）与 ERT（同 mutator、失败最大化、无风格控制）——基线共享生成模型，差异只在搜索目标。微调协议：每任务 $G=9$ 条生成指令（archive 采样）× $N=50$ 条已有演示重配对，三个模型统一 4×A100 配额下微调——不收集任何新演示。评测指令与微调指令互斥（未见）。

用户研究（n=40）

40 名参与者，SimplerEnv 5 任务，两个阶段：① 写指令——给初始/目标图像，让参与者写下一条"自然说法"和一条"故意想弄晕机器人"的说法（同时收集了人类生成的对抗指令样本）；② 评指令——随机呈现 Rephrase/ERT/Q-DIG 各一条变体，按类人性排序（1–3）并在 7 级 Likert 量表上打分。Kruskal-Wallis + Dunn/Bonferroni 事后检验。

真机任务的初始状态（左）与目标状态（右）：Franka Panda 推可乐罐。用户研究里看到的指令示例都以此场景为语境——"像人话"的判断不是抽象语言评分，是"这句话配这张图是否自然"。

实验结果

H1：Q-DIG 指令更多样、更贴边界

三个度量三个方法（4 次重复，误差条=标准误）：BERT 多样性（平均成对嵌入距离）Q-DIG 在两域都最高（LIBERO-Goal 上 p<0.01）；失败方差（rescale 0–1）Q-DIG 最高且统计显著（双域 p<0.01）——生成的指令落在能力边界内，不是必挂的怪话；距原指令距离 Q-DIG 最高/持平。BLEU 多样性三法相当（0.93–0.96）——表面词汇层面的差异不是区分点，语义空间才是。

coverage：风格可控性的直接读数（Table 3）

8 个风格格，Rephrase/ERT 只填 3–4 格，Q-DIG 填满 7–8 格。这是 QD 条件化生成的机制性优势，也是全表最不对称的数字——但记住它的前提：风格由 LLM judge 判定，coverage 继承 judge 的一切偏差（评论节再谈）。

H2：更像人说的话（用户研究，n=40）

排序均值（低=更像真人会对机器人说的话）：Q-DIG 1.67 vs Rephrase 2.10 vs ERT 2.24，Kruskal-Wallis p<0.001，Dunn/Bonferroni 事后两两比较均显著。Likert 量表（1–7）上 Q-DIG 显著高于 ERT（均值差 1.07，p<0.001），但不显著高于 Rephrase——纯改写听起来也像人话，差别在它不指向失败。这个诚实的负结果值得记下：类人性是必要条件，不是充分条件。

H3/H4：微调结果（Table 2 全量）

行 = 评测指令来源（训练未见），列 = 微调数据来源（Orig = 仅原始指令微调的基线）。LIBERO-Goal，成功率 %，下划线 = 列最优：

读数时注意三点：① ERT 在 OpenVLA-OFT 平均最高（87.3 vs 82.1）——失败驱动不加风格控制在最强基线上仍然赢了平均；Rephrase 增强则灾难性遗忘原始指令（97.4→62.2），平均 55.8 低于基线本身。② Q-DIG 在 GR00T N1.6 上优势最大（平均 49.4，比基线 +15.5pp），且是唯一原始指令不倒退的增强（64.8 vs Reph 51.6 / ERT 46.6）——语言先验最弱的模型从多样性中受益最多。③ 未见 Q-DIG 指令行：OpenVLA-OFT 与 GR00T 上 Q-DIG 增强最佳（88.9 / 55.1），π₀.₅ 上 ERT 增强微弱领先（74.8 vs 73.4）。论文的口径是"Q-DIG 增强对未见对抗指令平均提升 5%（π₀.₅）/ 15%（GR00T）"。

SimplerEnv：诚实的反面（论文正文数值）

全 5 任务平均：base 37.0 → Q-DIG 52.2 / ERT 54.3 / Rephrase 60.5 最高。作者分析 open-top-drawer 任务 base 只有 9% 且两条指令混淆（"put the top drawer halfway in" 对 "open it"），剔除后 Q-DIG 63.6 > Rephrase 61.5 > ERT 57.2。这行数字是论文最诚实的段落之一：语言红队的收益依赖于语言在任务里真正起作用。

H5：真机——对抗性迁移 + 修复（Table 4/5）

左表读法：仿真里找到的对抗性在真机上放大（P1 仿真 4/10、真机 0/10），趋势逐指令一致。右表（增强微调后，未见指令）：P1 从 0/10 → 7/10，P2 从 8/10 → 9/10。两条结论：对抗性可以 sim-to-real 迁移（在数字孪生里红队就能发现真机弱点）；指令增强微调能把发现的弱点修回去。n=10/指令，单任务，方向性证据。

我的评论

站得住的

• 目标函数的设计是真正的贡献：$p(1-p)$ 把"找弱点"和"挑可学样本"统一在一个量里，红队与课程不再需要两套机制。七个月后同一团队的 Q-DEG 把它发展成可行性感知失败率（全失败硬置零），证明这个思想在环境轴同样成立——一条思想的两次落地。
• 视觉接地的 mutator：把"场景里有什么"放进生成上下文，指令保持 task-relevant——这是与 Rainbow Teaming 类纯语言红队的本质区别，也是用户研究里"像人话"的来源。
• 零新演示的微调闭环：重配对（re-pairing）而非重新收集，微调成本几乎只是算力。对从业者这是最实用的一招。
• 负面结果的透明度：SimplerEnv 全 5 任务 Rephrase 最高、OpenVLA-OFT 平均 ERT 更高、Likert 上不显著优于 Rephrase——这些数字都在正文里，没有被藏进附录。

要挑剔的

• coverage 指标的循环依赖：0.972 vs 0.325 的覆盖率是 headline 数字，但"风格"由 LLM judge 判定，judge 的分类可靠性没有单独验证（没有人工标注的 judge 准确率）。如果 judge 对 Q-DIG 的生成物有系统性偏好（毕竟 mutator 和 judge 是同一个模型），coverage 的差距会被放大。一个 200 条人工标注的 judge 准确率实验就能堵住这个洞，论文没做。
• 8 格的多样性上限：measure 是离散 taxonomy，archive 的"多样"天花板就是 8。真实语言风格空间是连续的（礼貌度、方言、句长、词汇域……），z0–z7 只是其中 8 个手工采样点。ERT 的 0.325 也部分是 taxonomy 视角下的结论——在另一个 taxonomy 下，ERT 可能也"覆盖"了别的维度。
• 平均输给 ERT：最强基线 OpenVLA-OFT 上 87.3 vs 82.1。论文的解释（Q-DIG 数据更多样所以更稳）在 GR00T 上成立，但在最强的模型上，简单失败深挖赢了对称多样性。什么时候"广"优于"深"，论文没有给出可预测的判据。
• 真机单任务：只测了 "push coke can"。语言红队的收益在动作更复杂、指令带宽更大的任务（多步、条件、否定）里可能更大也可能更小——没有证据。
• 成本不透明：gpt-4o mutator+judge 的 API 成本、每任务 rollout 数（6 迭代 × 50 rollout = 300 evals/task/iteration）的墙钟，都没报。

综合

这是一篇把"红队 = 搜索问题"这个抽象认真做实的工程论文：每个组件（QD、VLM 接地、重配对微调）都不新，但组合的每个选择都有明确的理由，且作者诚实地报告了组合不占优的地方。它的长期价值可能不在数字，而在示范：攻击风格的 taxonomy 可以换成任何任务相关的人工先验（方言、专业术语、儿童语言……），$p(1-p)$ 的边界目标与重配对微调都能原样搬走。

One More Thing

图 5 那张 archive 热图值得多看一眼：它是一张以攻击风格为坐标系的机器人语言盲区地图。8 个格子，每格染着该风格下最边界指令的失败方差——哪个格子的值高，机器人在那类说法上摔得最摇摆。把它竖起来读，这其实是一张给机器人的"听力体检表"：正式用语（z1）听不听得懂？被人格化称呼（z2）会不会懵？口语（z6）还在不在服务区？

而这张地图有一个更深的读法。archive 收藏的是机器应该听懂但没听懂的人话——每一格都是训练数据指令贫困的一个切片。红队在这里悄悄换了性质：它不再只是安全审计，它是可访问性清单。会说机器话的用户不需要 Q-DIG；需要它的是不说机器话的人——用方言的老人、说长句子的律师、把机器人当同事寒暄的孩子。从"红队找漏洞"到"为所有说话方式做体检"，中间只差一次视角的平移，而这个平移在部署时是免费的。

以上是我的综合与外推，不是论文的主张。论文自己的 One More Thing 是附录那个 87.12±3.39 的 5 折交叉验证——它安静地说明 archive 里的指令不只是过拟合训练分布的 8 条怪话，而是对未见同类指令有约 87% 的泛化能力；语言盲区地图是可导航的。

跨论文洞见：同一红队循环，换轴与换判据

1. 从指令轴扩展到环境轴。Q-DIG 在指令风格上建多样性档案；后续 Q-DEG 把搜索轴移到可解释环境参数，并用被测策略的内部表示定义行为多样性。可迁移的不是某个固定 taxonomy，而是“明确变化轴 + 保留有信息量的边界样本”的设计模式；两篇论文的表示与目标不同，不能视为同一种测量。
2. 从失败提示到失败归档。前作 ERT 以人工攻击风格系统化构造合法但易失败的指令；Q-DIG 的增量是把这些风格变成显式 QD 覆盖坐标，并以失败方差筛选边界指令。此对照强调 Q-DIG 在搜索组织上的增量，不代表它覆盖了所有真实用户语言。
3. 生成难例不等于判定是否安全。Metamorphic Testing of VLA Robots 通过输入变换间的执行关系缓解 oracle 问题；与 Q-DIG 的对抗样本搜索互补：前者提供关系型测试判据，后者定位模型对指令的脆弱区域。不能据此声称两者已组成经验证的联合系统。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

import random
random.seed(7)
TPL = "push the coke can"
STYLE = {
 "z0": lambda s: "approach the can . apply force . stop .",        # 分步指令
 "z1": lambda s: "displace the aluminum beverage vessel",         # 罕见词汇
 "z2": lambda s: "hey buddy , could you push the coke can for me ?",  # 人称呼唤
 "z3": lambda s: s + " a bit",                                    # 模糊副词
 "z4": lambda s: s + " near the black marks",                     # 冗余细节
 "z5": lambda s: "meticulously exert force upon the beverage container",  # 冗长改写
 "z6": lambda s: "yo , shove that can",                           # 口语俚语
 "z7": lambda s: "move the can to the right of the fork",         # 跨模态引用
}
TPL_TOK = set(TPL.split())
def p_fail(s):                      # toy VLA：只见过模板 → token 重叠决定成功率
    tok = set(s.split())
    overlap = len(tok & TPL_TOK) / max(len(tok), 1)
    return max(0.02, min(0.98, 1 - overlap * 1.05 + random.uniform(-0.12, 0.12)))
def jac(a, b):
    A, B = set(a.split()), set(b.split()); return 1 - len(A & B) / len(A | B)

def qdig(iters=600):                # 条件化：每轮指定风格 z，格内留边界指令
    arch = {}
    for _ in range(iters):
        z = random.choice(list(STYLE)); c = STYLE[z](TPL)
        if 0.05 < 1 - p_fail(c) < 0.95: arch.setdefault(z, []).append(c)
    return arch
def ert(iters=600):                 # 失败驱动爬山：从最失败候选出发随机再变异
    pool, cur = [], TPL
    for _ in range(iters):
        c = STYLE[random.choice(list(STYLE))](cur)     # 变异当前候选
        if p_fail(c) >= p_fail(cur): cur = c           # 只接受更失败的
        if 0.05 < 1 - p_fail(c) < 0.95: pool.append(c)
    return pool

qd, ert_pool = qdig(), ert()
qd_inst = [i for v in qd.values() for i in v]
ert_styles = {z for z in STYLE for i in [ert_pool] if any(s == STYLE[z](TPL) for s in i)}
pd_qd  = [jac(a, b) for i, a in enumerate(qd_inst) for b in qd_inst[i+1:]]
pd_ert = [jac(a, b) for i, a in enumerate(ert_pool) for b in ert_pool[i+1:]]
print(f"Q-DIG：风格覆盖 {len(qd)}/8，成对 token 距离 {sum(pd_qd)/len(pd_qd):.3f}")
print(f"ERT ：风格覆盖 {len(ert_styles)}/8，成对 token 距离 {sum(pd_ert)/len(pd_ert):.3f}")

Reference / Evidence

• 本文：Siddharth Srikanth, Freddie Liang, Ya-Chuan Hsu, Varun Bhatt, Shihan Zhao, Henry Chen, Bryon Tjanaka, Minjune Hwang (USC); Akanksha Saran (Sony AI); Daniel Seita, Aaquib Tabrez (Cornell); Stefanos Nikolaidis (USC). Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies. arXiv:2603.12510 [cs.RO], 2026. arXiv:2603.12510 · PDF · 项目页 · 代码（项目页标注 IROS 2026，未获官方会议记录确认）
• 直接前作 ERT（攻击风格 taxonomy z0–z5 来源）：Karnik et al. Embodied Red Teaming for Auditing Robotic Foundation Models, 2024
• QD × LLM 提示轴：Samvelyan et al. Rainbow Teaming: Open-Ended Generation of Diverse Adversarial Prompts, NeurIPS 2024；Srikanth et al. Algorithmic Prompt Generation for Diverse Human-like Teaming and Communication with Large Language Models, 2025（论文中称 PLAN-QD）
• QD 基础：Lehman & Stanley, Abandoning Objectives: Evolution Through the Search for Novelty Alone, 2011；Mouret & Clune, Illuminating Search Spaces by Mapping Elites, 2015；Pugh, Pace & Stanley, Confronting the Challenge of Quality Diversity, 2015；Fontaine & Nikolaidis, A Quality Diversity Approach to Automatically Generating Human-Robot Interaction Scenarios in Shared Autonomy, RSS 2021；Bhatt et al., Surrogate Assisted Generation of Human-Robot Interaction Scenarios, 2023
• VLA 脆弱性与模型：pi0-experiment-wild（Black et al., 指令敏感性系统测量）；OpenVLA-OFT（Kim et al., 2025）；π₀/π₀.₅（Black et al.）；GR00T N1.5/N1.6（NVIDIA）；LIBERO（Liu et al., 2023）；SimplerEnv（Li et al., 2024）
• 谱系后续（环境轴）：Zhao et al. Red-Teaming of Vision-Language-Action Models via Quality Diversity Environment Generation（Q-DEG）. arXiv:2610.14415, 2026 · arXiv:2610.14415 · 项目页（本站中文深读：Q-DEG paper2html） · 同系列 ERT 深读：ERT paper2html · 蜕变测试互补视角：Metamorphic Testing paper2html

证据与版本说明：阅读基线 arXiv 2603.12510v3（v1 2026-03-12，ieeeconf/IROS 风格 7 页）；本地 e-print 于 2026-10-20 重新下载（预取缓存损坏）。Table 2 全部数值、Table 4/5 真机计数、用户研究统计量（1.67/2.24/2.10、p<0.001）与 5 折交叉验证（87.12±3.39）均从 TeX 源码核对。图 1–7 为论文原图的 WebP 版本，内容未修改；攻击风格示例表基于论文 Table 1 的定义与图 1 例子改写。Hacker 角色的 toy 为自写代码，非论文代码。页面版本注记与检索日期 2026-10-23；截至该日可核实到同方向 Q-DEG（arXiv:2610.14415），其余跨论文关联为概念对照，不表示直接引用关系。