Q-DEG：在 VLA 自己的表示空间里红队它

先讲一个故事：每次都错在同一个地方

2026 年，一台 Kinova JACO 机械臂站在真实餐桌前，任务是"抓住盘子旁边的那个碗"。它面前的桌面很干净：一只碗、一只盘子，别无他物。这台机械臂的策略是 $\pi_{0.5}$——一个在仿真里训练、在 10 个抓放任务上接近满分的视觉-语言-动作（VLA）模型。

它开始移动。20 次尝试里，它成功了 9 次。但真正奇怪的不是失败率，而是失败的形状：把每次尝试结束时夹爪的落点在照片上标成红点，红点聚成一团——稳稳地停在目标碗右上方的一块空地上，一次又一次，几乎分毫不差。这不是"随机失误"，这是记住了一个错误答案。

用最大化失败率的对抗搜索（CMA-ES）去微调它，失败率降了一点，红点却只是挪了窝：现在聚在碗的右下方。机器人的错误换了位置，但没有换掉"每次都错在同一点"的性质。论文里那句话很克制，也很要害：这些聚类说明策略过拟合到了各自微调数据里的空间模式，而不是学会了"找到碗"这件事本身。

这篇论文（Q-DEG）给出了第三种结局。它不再问"哪个环境最难"，而是问"哪些环境长得不一样、且让模型有时成功有时失败"——在 25 维可解释的环境参数空间（物体摆放、相机、光照、背景色）里做质量多样性（Quality Diversity, QD）搜索，并且用 VLA 自己的内部激活来定义"长得不一样"。找到的环境里，模型偶尔成功的那条轨迹被拿来微调它自己。同样的真机任务：20 次里成功 12 次，而且红点不再抱团——夹爪的落点散开、聚向目标碗的边缘。

这个故事的全部细节来自论文自己的实验（图 4，arXiv 2610.14415v1），包括那团右上方空地上的红点。真机实验只有两台任务各 20 次尝试，规模很小——把它当一则真实的寓言读，别当统计结论读。

故事与技术如何对应

先给结论

研究动机

VLA 的 OOD 脆弱性本身不是新闻。LIBERO-Plus（arXiv 2510.13626）已经用七条设计者指定的扰动轴（物体布局、相机视角、初始状态、语言、光照、背景、传感器噪声）系统量化过：模型对个别偏移的鲁棒性往往不能组合，去掉指令有时几乎不影响成功率——语言被忽视，位置被记住。到 2026 年，"VLA 在偏移下会碎"是已知结论。问题剩下三个，而且都不在这类基准的射程内：为给定模型定向找失效、在可解释的环境参数里找、把找到的失效变成这个模型的训练数据。

红队方向已有的几条路线，恰好各缺一块：

同时，QD 场景生成在别的域已经成熟：Fontaine 与 Nikolaidis 用它生成共享自主 HRI 场景与人-机协调环境（RSS 2021），CMA-MAE（GECCO 2023）给出了带阈值的稀疏改进信号机制，Nikolaidis 2024 的综述把"算法化场景生成 = QD 优化"整理成完整框架，Rainbow Teaming（NeurIPS 2024）把同样的思想搬到 LLM 对抗提示。但这一系的多样性度量都是用户指定的行为描述子——由人来定义"什么算不同"。

Q-DEG 站的空位由此而来：把 QD 场景生成的搜索对象换成 VLA 的环境参数空间，把多样性度量从人工描述子换成被测 VLA 自己的内部激活，再用可行性感知的失败目标保证找到的每个弱点都能立刻变成自模仿数据。找失效与修失效闭成一个循环——这是检索范围内（2026-10-23）未见先例的组合。

数学表示及建模

语言指令 $c$ 固定，环境由可解释参数 $\theta \in \Theta \subset \mathbb{R}^{25}$ 参数化为 $\mathcal{E}_c(\theta)$。VLA 策略 $\pi$ 在环境中的轨迹记 $\zeta \sim \pi(\cdot \mid \mathcal{E}_c(\theta))$，真实失败率：

两个目标：① 在 $\Theta$ 内找多样且致失败的环境；② 提升 $\pi$ 对 $\Theta$ 内偏移的鲁棒性。关键的第一步是对"致失败"的估计动刀：

100% 失败的环境被硬置零——它"太对抗"，既提供不了自模仿的成功轨迹，也占住搜索预算。这个设计把整个搜索压在能力边界上：只找"偶尔能成功"的环境。这与 Q-DIG 的 $p(1-p)$ 质量目标同构（前作在指令轴上最大化失败方差，本作在环境轴上排除全失败），但实现更直接：硬零 + 阈值。

在模型自己的表示里量"多样性"

对每个环境，取 VLA 动作解码器前最后一层隐藏激活（依 SAFE 的做法），对 $k$ 次 rollout 平均池化，得策略嵌入 $\psi \in \mathbb{R}^{d}$（$d$ = 2048/4096/1024，随 VLA 而异）；再经 PCA 投影到 2 维：$\mathbf{A}\psi + \mathbf{b}$。QD archive 把这个平面离散成 $100 \times 100$ 格，每格存最高失败的环境参数，搜索目标为：

为什么需要阈值（CMA-MAE）

朴素 archive 只在"格内历史最高"被刷新时才给奖励，改进信号极稀疏。Q-DEG 沿用 CMA-MAE：每格阈值 $t_{\mathrm{cell}}$ 初始为 0，候选的反馈是阈值相对改进 $\Delta \hat{P}^{\mathrm{fail}} = \hat{P}^{\mathrm{fail}} - t_{\mathrm{cell}}$，随后阈值做指数滑动更新：

阈值随高失败候选的持续出现逐渐爬升，而不是瞬间跳到历史最大——格子的"难度信誉"是累积出来的。于是候选拿到高改进分的途径有两条：诱导更高失败率，或落入少有高失败前科的格子（新颖性）。若候选经 MIQP 修复，反馈中再减去编辑距离 $\|\theta^{\mathrm{repaired}} - \theta\|_2^2$，惩罚无效提议。CMA-ES 停滞（无正改进）时，从随机占据格的最高失败环境重启分布——"垫脚石"重启。

一个值得注意的建模选择：失败率估计来自 $k=4$ 次 rollout，分辨率只有 $\{0,\, 0.25,\, 0.5,\, 0.75,\, 1\}$；阈值 EMA 事实上把信号重新平滑成连续的。论文没有讨论 $k$ 的影响——这是复现时要自己面对的自由度。

算法流程

① 环境生成：25 维可解释参数 + MIQP 修复

CMA-ES 的搜索空间由五族参数构成：

随机扰动可能违反任务语义——比如把"放到碗旁边的物体"挪到语义关系之外。Q-DEG 把修复写成混合整数二次规划（MIQP）：在满足语义约束的条件下最小化编辑距离 $\|\theta^{\mathrm{rep}} - \theta\|_2^2$，即"离提议最近的合法环境"。若扰动不触碰语义（如仅背景色），恒等映射即可。语义约束需要按任务族手工定义——这是本方法的一个隐性人工成本。

② 反馈度量：失败率 + 策略嵌入

失败率如上一节：可行性感知、$k=4$ 次 rollout。策略嵌入的提取因 VLA 架构而异（附录 A，复现关键）：

三类架构不需要动作对数概率——只要能读前向激活就能红队。这是"策略嵌入度量"的一个实用优点：它把红队范围扩大到扩散/流式策略，而这类策略通常无法给出显式似然。代价：嵌入只取 rollout 起点（"第一印象"），且 PCA 压到 2 维只保留约 50% 方差（图 5）。

③ QD 搜索：CMA-MAE 循环

每轮：CMA-ES 提议 $B=8$ 个候选 → MIQP 修复 → 每个 $k=4$ 次 rollout 得失败率与嵌入 → 按 2 维 PCA 嵌入入格 → 阈值相对改进（减修复惩罚）回喂 CMA-ES → 阈值 EMA 更新。停滞时从随机占据格的最高失败环境重启（垫脚石）。完整伪码见论文 Algorithm 1。

④ 自模仿微调：把弱点修回去

对 archive 中 $0 < \hat{P}^{\mathrm{fail}} < 1$ 的环境，保留 $k$ 次 rollout 中最短的成功轨迹构成微调集 $\mathcal{D}$（同一环境的多条演示会导致动作发散，依 Belkhale et al. 2023）；全失败的环境本来就被硬置零排除，全成功的环境"不构成对抗"。为防遗忘，混入 10% 原始训练数据（依据是预训练 VLA 对持续学习遗忘的抵抗性，Liu et al. 2026）。行为克隆，rank-16 LoRA，batch 32，10k 步。环境多样性顺带保证了 $\mathcal{D}$ 的轨迹多样性，抑制自模仿的行为坍缩。

超参一览（论文实验设置）

实验设计

三个问题对齐三节结果：红队（能否生成多样的对抗环境）、鲁棒性（自模仿微调是否提升对 OOD 环境的抵抗）、sim-to-real（鲁棒性是否帮助真机迁移）。

两个值得点名的公平性设计：红队与评测预算在各法间严格对齐；评测集留出 20% 且从微调数据中剔除——自评循环至少被部分切断。真机的"3 分钟内夹爪绕到碗沿"判据偏宽松（不要求完整抓起），读真机结果时要记住这一点。

实验结果

鲁棒性：Table 1 全量

行 = 评测集（默认任务 + 三种方法各自生成的对抗集），列 = VLA 检查点（base / rand 微调 / CMA-ES 微调 / Q-DEG 微调）。数值为成功率（%），论文口径：加粗为每列（checkpoint）在四个评测集上的平均最优，下划线为每行最优。

三个观察：

• 脆性重现：base 在默认任务 96.80/96.20/98.40，到 rand 评测集掉到 29.15/56.25/77.38——π₀-FAST 掉 67.65 个百分点。默认任务的近满分确实不能说明 OOD 能力。
• Q-DEG 微调列的三个平均都是最高（56.07 / 79.21 / 80.88），且在 4 个评测集中的三个（rand、CMA-ES、Q-DEG）上多为行最优；最大单格增益在 π₀.₅×Q-DEG 评测集：38.03→81.81（+43.78pp）——Q-DEG 生成的评测集对 base π₀.₅ 是三个对抗集中最难的（38.03 最低），对 Q-DEG 微调后却几乎追平默认任务水平。
• 遗忘较小：默认任务行，Q-DEG 微调 89.60/93.80/95.60，均高于 rand 微调（68.60/94.80/85.60）；论文的归因是微调数据里环境多样性抑制了对窄失败模式的过拟合。

红队：多样性与可行对抗环境数

两个结论要分开读。上排（可行对抗环境数）：在 π₀-FAST 上 CMA-ES 与 Q-DEG 相当，rand 落后；但在最鲁棒的 π₀.₅ 上，Q-DEG 找到的可行对抗环境数反超了专门最大化失败率的 CMA-ES——多样环境的"垫脚石"效应让搜索更不容易困死在少数失败配置上。下排（平均成对 DINOv2 余弦距离）：三个 VLA 上 Q-DEG 生成的环境图像多样性一致高于两个基线——搜索找到的不是同一类失败的一万种微调。

附录 B 的负结果：Uniform 太 OOD

按各维有效范围均匀采样的 Uniform 基线，对 π₀-FAST 找到的可行对抗环境数是 0±0（π₀.₅ 上 179.3±13.5）：大多数环境太难、全失败被硬置零，红队与后续微调都无从谈起。这个对照把"扰动幅度必须对齐能力边界"的方法论主张变得可检验——无差别的大范围扰动不是红队，是核平。

Sim-to-real：真机抓碗

计数直接读自论文图 4 的行标注：Task 1（抓桌中央碗）base 7/20、rand 6/20、CMA-ES 5/20、Q-DEG 11/20；Task 2（抓盘旁碗）base 9/20、rand 6/20、CMA-ES 6/20、Q-DEG 12/20。更有信息量的是末端位置的分布：base 的落点聚在右上方空地，CMA-ES 微调后聚到右下方（错得不同但仍然聚团），Q-DEG 微调后散开并聚向目标碗沿——正是故事里那三个结局。样本是 2 任务 × 20 trial，成功判据是"3 分钟内夹爪绕到正确碗沿"（不要求抓起）；把这当方向性证据，不当结论性证据。

我的评论

站得住的

• 增量定位诚实且可检验：论文没有把 QD 场景生成当自己的发明（明确引 Fontaine/Nikolaidis 系），也没有把指令红队（Q-DIG）与环境红队混为一谈——坐标系摆得清楚，增量（策略嵌入度量 + 环境轴 + 自数据闭环）也确实是检索范围内没人做过的组合。
• 预算与协议的公平性设计：3200 rollout 对齐、20% held-out 评测、真机 base 补 10k 步对齐训练量、两组真机试验交错——这些都是审稿人会主动找的点，论文自己做了。
• 负结果与局限明说：附录 B 报 Uniform 的失败；局限一节自认"只用成功轨迹、PCA 降维丢信息"。对一篇 8 页短文来说，这个透明度高于平均水平。
• 架构覆盖有实用价值：自回归与 flow-matching 两类 VLA 都能被同一套嵌入度量红队，不需要动作对数概率——这决定了方法能否扩散到当下主流的扩散/流式机器人策略。

要挑剔的

• 自评循环：对抗评测集由各方法自己生成，"Q-DEG 在 Q-DEG 集上最大增益"天然有循环嫌疑。交叉评测（Q-DEG 微调在 rand/CMA-ES 集上的表现）部分缓解，但一个由第三方（如 LIBERO-Plus 的 7 轴组合扰动）做的外部验证仍然缺席——这是最值得补的一个实验。
• "第一印象"嵌入：策略嵌入只取 rollout 起点、k 次平均、再压到 2 维 PCA（约 50% 方差）。两个起首激活相似但中后段处理分岔的环境会被判为"同类"；而恰恰是 VLA 在 rollout 中途的动态失误（如抓取中途的手势选择）是这个度量天生看不见的。
• DINOv2 也是图像级：作为外部多样性度量的成对余弦距离量的是首帧俯视图，不含行为；"环境多样"与"行为多样"之间还隔着一层没有验证的假设。
• MIQP 的语义约束是手工的：每族任务的"合法扰动"由人定义（比如"旁边"的距离区间）。红队的自动性止步于参数采样；语义边界的定义权仍在设计者手里。
• k=4 的失败率分辨率：可行对抗的判据 $0<\hat{P}^{\mathrm{fail}}<1$ 在 k=4 下实际是"4 次里至少 1 成 1 败"。k 的影响、失败率估计噪声对 archive 阈值动力学的影响，论文都没有讨论。
• 真机规模与判据：2 任务 × 20 trial、3 分钟窗口、"夹爪绕到碗沿"即算成功——宽松判据 + 小样本，支撑"promote sim-to-real"的表述足够，支撑"证明"不够。
• 成本未报：3200 rollout 的墙钟/GPU 成本、微调 10k 步的成本都没有给出；对想复用的从业者，这是决策必需的数字。

综合

作为一篇方法移植+整合的工作，它的锋利处在度量（模型自己的表示空间）与闭环（可行性感知保证弱点可修复），不在任何单项组件。实验诚实但小；真机是方向性证据。放今天的 ICRA/IROS 生态里，这是一篇扎实的 8 页短文——如果补上第三方外部基准评测与成本披露，说服力会跨一个台阶。

One More Thing

回头看 pull 图左半那张热图：x 轴、y 轴是 PCA 前两主成分——被测 VLA "看世界"的两个最主要方向——每个格子染上该处环境的成功率。把它竖起来读，这其实是一张以模型自身表示为坐标系的能力地形图：哪里是高原（稳过）、哪里是悬崖（必挂）、哪里是滩涂（时成时败），QD 搜索的每一步都发生在滩涂上，垫脚石重启就是在滩涂之间跳岛。

我在 open-ended 环境生成这条线上读过的对照系（POET、OMNI-EPIC）里，archive 也是核心组件——但那些 archive 存的是任务的新颖性/可学习性，映射的是外部世界还能长出什么；Q-DEG 的 archive 存的是模型弱点，映射的是这个模型的边界长在哪。同一套 QD 机制，一个朝外探索世界，一个朝内探测自己。两者的合流点是一个尚未有人走通的想象：让 archive 同时以任务新颖性与模型弱点定位——红队搜索即课程生成，环境在"有趣"与"致命"之间自动寻找前沿。Q-DEG 只走到"修好找到的弱点"为止；把修复后的地形重测、再搜索、再修复的闭环迭代（红队-课程循环），论文没有做，而这恰是它离 open-endedness 最近的一步。

以上两段是我的综合与外推，不是论文的主张；论文的 One More Thing 应该是附录 A 那张主成分表——前 2 个主成分就解释约 50% 方差，一个 VLA 的"世界观"比想象中低维得多，这既是 Q-DEG 能用 2 维 archive 的原因，也是它可能漏掉什么的预警。

跨论文洞见：红队坐标轴可以互补，但度量不能互换

• 指令轴 × 环境轴。 Q-DIG 搜索指令扰动，Q-DEG 搜索仿真环境扰动：两者覆盖不同失效坐标，不是同一方法的替代品。可检验的后续设计是交叉组合两轴并分别报告单轴与组合扰动表现；不能仅凭本论文断言联合搜索更有效。
• 环境变化的可观测面。 ERT 与 Q-DEG 都把红队落在具身场景；Q-DEG 的分析坐标是被测策略嵌入，并以可行失败率筛出可修复弱点。可检验问题是同一失效是否既对场景变化敏感、又能在策略嵌入中区分；需由消融与外部任务验证，不能把相关性当因果解释。
• 相似性代理需接受行为校准。 BehaveSim 以代码相似性讨论行为相似，Q-DEG 则以策略内部激活构造多样性空间。两者提示代理选择会影响搜索覆盖面；应将候选表示与实际成败模式、跨模型迁移及后续修复效果对照，而非先验认定任一嵌入就是行为语义。

以上是对公开页面所述研究坐标的比较与可检验问题，不是这些论文共同验证过的结论；本页仅为 Q-DEG 原文结果负责。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

import numpy as np
rng = np.random.default_rng(0)
D, K, B, ALPHA, GRID = 25, 4, 8, 0.1, 100
theta0 = np.zeros(D)

def toy_vla(θ):  # 两层 MLP；θ 影响"场景"，θ₀ 附近成功率高
    h = np.tanh(0.5 * np.roll(theta0 - θ, 3) + np.roll(θ, 7) * 0.3)
    return h  # 倒数第二层激活 = 策略嵌入

def success_prob(θ):  # 能力边界呈环形：默认附近稳过，中环时成时败，远环必挂
    r = np.linalg.norm(θ - theta0) / np.sqrt(D)
    return np.clip(1.0 - np.abs(r - 0.35) * 3.2, 0.0, 0.0.98)

def rollout(θ):
    p = success_prob(θ)
    return rng.random(K) < p          # K=4 次伯努利 rollout

def feas_aware_pfail(succ):
    return 0.0 if not succ.any() else 1.0 - succ.mean()   # 全失败硬置零

def embed(θ):
    h = toy_vla(θ)
    return PCA_A @ h + PCA_b          # 预拟合的 PCA 投影（略去拟合代码）

# —— 每种方法跑 4000 rollout，统计：可行对抗环境数 + 2 维嵌入的平均成对距离
for name in ["rand", "es-maxfail", "qdeg", "uniform"]:
    archive, thresholds, mean, std = {}, {}, theta0.copy(), np.full(D, 0.02)
    found, evals, no_improve = [], 0, 0
    while evals < 4000:
        if name == "rand":       cand = rng.normal(theta0, 0.02, (B, D))
        elif name == "uniform":  cand = rng.uniform(-1, 1, (B, D))
        else:
            cand = rng.normal(mean, np.sqrt(std), (B, D))    # 简化 ES
        for θ in cand:
            succ = rollout(θ); evals += K
            pf = feas_aware_pfail(succ)
            if name == "es-maxfail":  score = pf
            else:                     score = pf              # qdeg: 还要入格比较阈值
            cell = tuple((embed(θ) * 10 + 50).astype(int) // 1)  # 100×100 格
            if name == "qdeg":
                t = thresholds.get(cell, 0.0)
                if pf > t or cell not in archive:
                    archive[cell] = θ; thresholds[cell] = (1-ALPHA)*t + ALPHA*max(pf, t)
                    found.append(θ)
            elif 0 < pf < 1:
                cellkey = cell
                if cellkey not in archive: archive[cellkey] = θ; found.append(θ)
            # es-maxfail 的 mean/std 向高失败候选滑动（略去完整 CMA 更新）
    P = np.array([embed(θ) for θ in found])
    dist = np.mean([np.linalg.norm(P[i]-P[j]) for i in range(len(P)) for j in range(i+1,len(P))]) if len(P)>1 else 0
    print(f"{name:10s} 可行对抗环境数={len(found):3d}  嵌入成对距离={dist:.3f}")

Reference / Evidence

• 本文：Shihan Zhao, Henry Chen, Ya-Chuan Hsu, Minjune Hwang, Siddharth Srikanth, Freddie Liang, Akanksha Saran, Aaquib Tabrez, Stefanos Nikolaidis, Daniel Seita. Red-Teaming of Vision-Language-Action Models via Quality Diversity Environment Generation. arXiv:2610.14415 [cs.RO], 2026. arXiv:2610.14415 · PDF · 匿名项目页（含环境可视化）
• Q-DIG（同组前作，指令轴红队）：Srikanth et al. Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies. IROS 2026. arXiv:2603.12510 · 项目页 · 代码
• VLA OOD 脆弱性表征：LIBERO-Plus. arXiv:2510.13626（7 轴扰动组合评测）；Predictive Red Teaming（图像编辑）arXiv:2502.06575；Geometric Red-Teaming（几何扰动）arXiv:2509.12379，CoRL 2025
• 世界模型路线：Evaluating Gemini Robotics Policies in a Veo World Simulator. arXiv:2512.10675 · 项目页
• QD 谱系：Novelty Search（Lehman & Stanley, 2011）；MAP-Elites（Mouret & Clune, GECCO 2015）；Fontaine & Nikolaidis, RSS 2021（HRI 场景生成）；CMA-MAE（Fontaine & Nikolaidis, GECCO 2023）；Rainbow Teaming（Samvelyan et al., NeurIPS 2024，LLM 提示对抗 QD）；算法化场景生成综述（Nikolaidis, 2024）；Soft QD（Hedayatian & Nikolaidis, ICLR 2026）
• VLA 评测生态：OpenVLA-OFT（Kim et al., 2025）；π₀（Black et al., 2024）；LIBERO（Liu et al., 2023）；SAFE（策略嵌入失效检测，NeurIPS 2025）；多示范动作发散（Belkhale et al., 2023）

证据与版本说明：阅读基线 arXiv 2610.14415v1（2026-10-10 发布，ieeeconf/ICRA 风格 8 页，未标注会议录用；v1 无资助声明，作者机构以论文标注为准）。外部检索日期 2026-10-23；截至该日未发现可核实的后续引用论文。Table 1 数值以官方 PDF（pdftotext -layout）与 TeX 源码双重核对；图 4 真机计数直接读自论文原图行标注。本页所有图片为论文原图的 WebP 压缩版，图片内容未修改。