VLATest：给机器人模型出 18,604 道题的期末考试

先讲一个故事：七台"语言机器人"的期末考试

2024 年秋天，一个软件工程团队给七台机器人安排了一场别开生面的期末考试。考生是当时最热的七个视觉-语言-动作模型（VLA）：谷歌 RT-1 的三个 checkpoint、RT-1-X、Octo 的两个规格、以及开源的 OpenVLA-7b。考题是机器人学里最基础的四个动作：拿起（Pick Up）、挪近（Move Near）、放上（Put On）、放入（Put In）。考场是 ManiSkill2 仿真器，判卷标准毫无新意——把指定物体放对位置。

结果残忍。最容易的"拿起"任务，七个模型的平均成功率 12.8%，最好的（RT-1-400k）也只有 34.4%；到"放入"，平均 0.5%——一千次尝试成功五次。这不是长尾难例，这是主科不及格。更扎眼的细节在一个案例里：RT-1-X 在空桌上能顺利抓起百事可乐罐，桌上多摆两个干扰物体后，它伸手抓起了旁边的七喜罐——视觉-语言两条指令都是对的，它就是没"看"对。

这篇论文（VLATest，FSE 2025）做的不是调优，是出题。它把软件工程的 fuzzing（模糊测试）搬到机器人仿真里：一个场景生成器按 10 个测试算子（换目标物、挪位置、转朝向、加干扰物、调光照、动相机……）随机出题，出完先过一道语义有效性检查（不能出"把香蕉放进碗里但碗叠在香蕉上"这种物理上已完成的题），再让被测模型逐题作答。18,604 道题、超过 580 个 GPU 小时的仿真之后，它给出了这张"能力体检表"：基础操作 12.8%、四个干扰物再砍一半、光照突变保持率 61.3%、相机挪 5°/5cm 保持率 34.0%、未见物体最高掉 74.2%、指令换个说法平均掉 32.8%。

数字全部取自论文 TeX 源码（RQ1–RQ6 六张主表）；考试范围是 ManiSkill2 的四个桌面任务与 2022–2024 年的七个开源/公开模型，不能外推为"所有 VLA 都这样"——但它给"VLA 部署前先测什么"立了一个可复用的框架。

RT-1-X 案例（图面为两帧场景对比；"抓错成七喜"的语义来自正文叙述）：零干扰下顺利完成任务，两个干扰物后抓错目标。视觉与语言指令完全相同，差别只在场景复杂度。

故事与技术如何对应

先给结论

研究动机：VLA 评测的"演示视频陷阱"

VLA 模型的宣传节奏通常是：一篇论文配一段挑过的成功视频，加一张 LIBERO/RT-X 基准上的高分表。但基准分数有两个系统性漏洞：① 基准场景是固定的——模型可能在 LIBERO 的 600 个场景上刷到 90%+，换个物体、换个光照、桌上多摆一个杯子，没人知道会发生什么；② 成功是一个粗糙的终点判分——一台"抓取 30%、移动 0%"的机器人与一台"抓取 30%、移动 28%"的机器人，在"任务成功率 0%"这一栏里无法区分。

软件工程界对这两个漏洞有成熟的应手：fuzzing（生成式模糊测试）对付"场景固定"——用测试算子从种子场景衍生出海量变体；逐步骤判分对付"终点判分"——把复合任务的中间步骤分别度量。VLATest 的动机就是把这个工具箱整体迁移到 VLA 上，回答六个问题：基线有多低（RQ1）、场景复杂度怎么影响（RQ2）、光照（RQ3）与相机（RQ4）这类部署环境变化、未见物体（RQ5）、以及指令改写（RQ6）各会造成多大衰减。

值得注意的定位差异：机器人学界同期也在做 VLA 评测（LIBERO、SimplerEnv、Open X-Embodiment），但那些是基准（固定场景集、横向排名）；VLATest 是测试框架（生成场景、找失效、可扩展算子）。前者回答"谁更强"，后者回答"会在哪坏"——两个问题在部署决策里缺一不可。

形式化：场景即测试输入

一个测试场景 $s$ 是结构化的五元组：$s = \langle T, P, L, C, I\rangle$——任务 $T$（四个基本动作）、场景物体配置 $P$（目标物 + 干扰物的类型/位置/朝向/数量）、光照 $L$、相机 $C$（位置 + 朝向）、指令 $I$。VLATest 的测试算子就是作用在这个元组上的变异函数：

$$s' = f_i(s),\quad f_i \in \mathcal{O},\ |\mathcal{O}| = 10$$

生成后的场景要过两道闸：语义有效性检查（invalid 物体清单——物理上放不进、遮挡目标物、或任务在初始状态已经完成的组合，剔除）与去重（相同任务下物体-位置-朝向组合不重复出题）。判分不只有一个终点布尔值，而是逐步骤的：抓取正确物体（Grasp）→ 移动到正确位置（Move）→ 终态达成（Success）。这个分解在 RQ5 里进一步升级为转移率：

$$Tr_n = \frac{Success\_rate_n}{Success\_rate_{n-1}},\qquad Success\_rate_0 = 100\%$$

即"通过了第 n−1 步的场景里，有多少比例连第 n 步也通过"。Tr 大幅下降的位置就是能力的断裂点——RQ5 用它把"未见物体失败"定位到 Tr₁（认物体），而非后续的运动控制。

方法：出题流水线

① 种子场景：ManiSkill2 的四个标准任务场景（Pick Up / Move Near / Put On / Put In），每个任务的标准指令来自模型原论文的 prompt 模板（保证被测模型在自己的"母语"里被考察）。② 算子变异：从 10 个算子中随机选择应用，对物体库（默认 18 种、RQ5 换用 YCB 56 种）采样新的类型/位置/朝向/数量组合，光照乘 α 系数，相机加位置/朝向偏移。③ 有效性过滤：对照人工维护的 invalid 物体清单与任务先决条件，剔除无效题。④ 执行与判分：被测 VLA 在场景里 rollout，ManiSkill2 的状态查询接口逐步骤判 Grasp/Move/Success。⑤ 覆盖度监控：用轨迹覆盖率（模型动作轨迹在场景中的分布）估计测试充分性——论文发现 1,000 个场景/任务就达到覆盖饱和，之后的场景都是密度增加而非新区域。

覆盖度那一节值得读原文：它承认"轨迹覆盖"是一个务实的权宜（VLA 没有像代码那样公认的覆盖度量），并把"设计更好的 VLA 覆盖度量"列为开放问题。我们的读后联想（非论文自述）：两年后的 Q-DEG 用"被测模型自己的策略表示空间"做环境归档，可以看作这个开放问题的一种回答路径——但 Q-DEG 并未引用本文，这条线是我的旁注，不是文献事实。

实验设计

被测模型（7 个，2024 年可得的公开 VLA）：RT-1-1k/58k/400k（三个训练规模）、RT-1-X（跨机器人数据版）、Octo-small/base、OpenVLA-7b。环境：ManiSkill2 的 visual-matching 渲染版（比标准渲染更接近真实图像分布，缓解 sim-to-real 分布差）。规模：18,604 个场景、78,604 次执行、586 GPU 小时。六个研究问题：RQ1 基线（1,000 场景/任务）、RQ2 干扰物数量（0–3+）、RQ3 光照强度（默认 vs 增强档 vs 减弱档，α 从 0.125 到 16）、RQ4 相机（5° 旋转/5cm 平移）、RQ5 未见物体（默认物体库 → YCB 56 种，seen/unseen 对照）、RQ6 指令变异（GPT-4o 生成 10 条语义等价改写，作者人工验证等价性，每场景随机套用一条）。

三个协议细节值得点名：① 单次执行——每个场景每个模型只跑一次（论文承认这是内部效度威胁，理由是研究目标在模型级趋势而非单场景成败）；② 统计检验——RQ3–RQ6 用配对 t 检验 + Cohen's d 报告效应量，RQ5 的 Tr 逐任务检验并给出 p 值；③ 指令变异的人工验证——两名作者逐条确认 GPT-4o 改写与原指令语义等价，缓解"变异本身改变了任务"的混淆。

结果：六张体检表

RQ1 基线：任务难度主导，模型差异其次

三个读法：① 没有全能选手——RT-1-400k 统治 T1（34.4%），OpenVLA-7b 拿下 T2（12.7%），Octo 系在 T3/T4 领先（2.2%/1.1%），排名随任务重排。② 断裂位置暴露短板——OpenVLA 在 T2 抓对率 43.0% 但移动只有 23.3%（一半抓对了却放不到位）；T3/T4 所有模型"抓→放"断崖（16.0→2.6、16.6→0.6），即放置/朝向对齐才是四任务里最普遍的失败环节。③ 官方报告性能 vs 此处实测——同一列里模型各自论文报出 92%（RT-1）到 90%+（OpenVLA LIBERO）的成绩，在这套生成场景上平均只剩个位数；差距来源不是"模型退步"，而是考题从固定基准换成了随机生成的组合空间。

RQ2 干扰物：复杂度税

固定干扰物数量 n=0→4，各生成 100 场景/任务：T1 平均从 17.3% 跌到 8.3%，T2 从 8.3% 跌到 1.1%（T3/T4 本底太低看不出趋势）。逐步骤分析定位根因：n=0 时 700 次里抓对 199/196/137/152 次（T1–T4），n=4 时掉到 107/152/78/65——加干扰物主要打击"认物体"，不是运动控制。有趣的是负结果：干扰物与目标相似（不同品牌汽水罐 vs 异类物体）不影响成功率（Mann-Whitney U，四个任务 p 值 0.443–0.657，均不显著）——VLA 的定位失败不是"长得像才认错"，而是"多物体就认不准"。

RQ3/RQ4 光照与相机：部署环境的隐性税

协议：把 RQ1 通过的 1,434 个场景各取出来，重跑 3 次（4,302 次/维度）：光照乘随机 α∈(1,20] 或 [1/20,1)；相机每轴随机转 ±5°、随机平移 0–5cm（作者人工核验极端情形人眼可辨、画面完整）。两个发现：① 相机比光照致命——5°/5cm 的"手一抖"幅度就砍掉 66% 的成功场景；② 鲁棒性跟着预训练规模走——OpenVLA（7.6B、OXE 大数据）光照保持 77.9% 一骑绝尘，Octo（小模型、窄数据）两个维度都趴在 17%/9%。光照还有不对称性：α<0.2（暗到 1/5）仍能过 60%，α>8（亮到 8 倍）只剩约 40%——过曝比欠曝更伤。

RQ5 未见物体：认不出，就全输

把默认物体库换成 YCB 56 种（模型训练分布外）重跑：四任务平均跌 74.2%/66.7%/66.7%/20.0%。真正精致的分析是转移率：Tr₁ 在 T1/T2 显著下降（配对 t，p=0.011/0.007，Cohen's d=1.34/0.891——大效应），Tr₂、Tr₃ 无显著变化。翻译过来：未见物体的失败几乎全部发生在"第一眼认物体"，后续的提起、移动、放置控制不受影响——语言-视觉接地是断层，运动技能不是。论文同时指出"没有一个模型在未见物体上全灭（除了本来就全灭的组合）"，说明泛化能力存在但不可靠。

RQ6 指令变异：换个说法，平均掉三成

GPT-4o 对每个标准指令生成 10 条语义等价改写（两名作者人工验证），每个场景随机套一条：T1 平均掉 32.8%。最值得注意的是语言底座决定语言鲁棒性——唯一带 LLM 底座（Llama 2-7b）的 OpenVLA-7b 是唯一在 T1/T4 变异后反升的模型（+8.5%/+81.8%）；一条"place [A] near [B]"式改写，OpenVLA 能过 17.6%，其余六个模型全部 <5%。这条发现两年后被 Q-DIG/Q-DEG 那一代"指令轴/环境轴红队"系统化——VLATest 是它最早的实证信号。

审稿人视角：这篇论文好在哪、弱在哪

好在哪。① 方法论迁移的完成度高——算子、语义有效性、覆盖度、逐步骤判分、统计检验（配对 t + Cohen's d、Mann-Whitney U），软件工程评测的整套规范一次搬齐，具身智能领域的实证论文里很少有这个方法学纪律。② 逐步骤分析是真正的方法论贡献——Grasp/Lift/Move/Success 分解 + Tr 转移率，把"失败"从一个数字变成一张断层扫描图，RQ2/RQ5 的根因定位全部由此而来。③ 协议诚实——单次执行、仿真局限、指令变异的人工验证都写进 threats to validity；负结果（相似性不显著）如实报告。④ 资源开源——18,604 场景 + 复现包（github.com/ma-labo/VLATest），场景库本身就是社区资产。

弱在哪。① 随机生成 ≠ 定向搜索——18,604 个场景按轨迹覆盖 1,000/任务即饱和（表：10→0.09，100→0.64，1000→1.00），多出来的 17,604 个场景按论文自己的覆盖度量没有增加信息；没有失败驱动的搜索压力，找弱点靠量堆。② 单次执行——每个场景跑一次，模型 rollout 噪声（同一场景成败可翻转）直接混入结果；1,434 个"通过场景"的定义本身含噪。③ 2024 年的横截面——七个模型全部是 2022–2024 年发布，最强 OpenVLA-7b；两年后的 π₀/OpenVLA-OFT/GR00T 一代缺席，绝对数字不能外推，但方法论与失效模式（认物体→放置→环境敏感→语言敏感）依然成立。④ 单一仿真器、单一物体库系（ManiSkill2 默认→YCB）——场景多样性受限于物体库，YCB 之外的真实家庭物体分布未知。⑤ RQ6 只有一层变异——10 条改写/任务、语义等价性两人手工确认，没有对抗性（而 ERT/Q-DIG 证明对抗性指令能把掉幅从三成放大到七八成）。

一句话定位。它不是那个给出"VLA 能力上限"的论文，而是第一个给出"VLA 失效地形图绘制流程"的论文——地图上的绝对海拔会随模型换代过时，但绘制流程（生成-过滤-逐步骤判分-归因）是可复用的。

One more thing：逐步骤判分的"断层扫描"视角

这篇论文最耐用的工具不是任何一个结论，而是 Grasp→Lift/Move→Success 的逐步骤分解。把 RQ1–RQ5 的所有发现放进这个框架，会看到一个统一的结构：

四层失效各有不同的修法：第 1 层要数据（物体多样性、接地监督），第 2 层要动作空间设计（连续放置的精度监督），第 3 层要训练时的环境增广，第 4 层要语言底座或指令增广。一张成功率表把四层混在一起，测试框架的意义就是把它们拆开——这是"基准排名"与"失效归因"的分水岭。

跨论文洞见（2026-10-23）：① MANGO：测试预言生成 把难点推进到“怎样判断输出是否正确”；VLATest 的逐步骤成功判定则先把机器人任务拆成可观察的阶段。二者提示具身测试不能只扩充输入，还要让 oracle 能定位失败阶段；但这不是 MANGO 已验证过的机器人能力。② Metamorphic Testing Oracle 的变形关系视角，可帮助解释 VLATest 的场景/指令变异：变异“合理”不等于结果应保持不变，必须先定义预期关系；论文的 RQ6 主要靠人工确认语义等价，尚未建立广覆盖的自动 oracle。③ ERT: Embodied Red Teaming 可作为测试广度与定向攻击深度的对照：VLATest 以结构化算子绘制多轴失效地形，红队路线关注更有攻击性的失败触发。两者互补是研究设计上的综合判断，不代表共享数据、直接比较过性能或已证明某种路线更优。

证据边界自查：VLATest 的数值结论限定于论文所用的 ManiSkill2 场景、七个 2022–2024 模型与单次 rollout；不能据此推断当代模型或真实家庭/工业机器人的失效率。上述站内论文链接仅用于概念对照；除非页面明示的原文结果，不把跨论文联系写成因果、引用关系或共同实验结论。检索日期：2026-10-23。

Other Discussion Roles / 其他讨论角色

以下七个角色使用 MIT MAS.S60 课程原始 prompt，从不同责任位置审视同一篇论文。

# 桌面 5x5 网格作"novel target position"的离散化
import random; random.seed(42)
desk = 25
for n in [10, 100, 1000, 5000]:
    cov = len({random.randrange(desk) for _ in range(n)})
    print(f"n={n:5d}  coverage={cov/desk:.2f}")

Reference / Evidence

参考文献与证据边界

阅读基线：arXiv 2409.12894v2（FSE 2025 camera-ready；ACM PACMSE vol. 2, FSE073, DOI 10.1145/3729343），24 页。作者：Zhijie Wang, Zhehua Zhou, Jiayang Song, Yuheng Huang, Zhan Shu, Lei Ma（University of Alberta / University of Tokyo）。v1 首发 2024-09-19。本页全部数字取自 arXiv TeX 源码中 RQ1–RQ6 的表格与正文，图面内容经渲染后人工目检核对；表 2（性能主表）数值由 TeX 表格源码逐格提取。

外部核验（检索日 2026-10-23，经批准使用 smart-search 路由）：① FSE 2025 录用与 PACMSE 卷期信息以 TeX 内 DOI 与 ACM 格式自证；GitHub 开源仓库 github.com/ma-labo/VLATest 经检索确认存在且含场景库。② "Q-DEG 未引用本文"经 Q-DEG TeX 源码 grep 核实。③ 本页 One More Thing 的跨论文链接用于研究问题对照，不声称引用关系或实验可比性。④ 本会话原生 provider_web_search 因 openai-completions API 不兼容不可用，外部检索经批准改用 smart-search，关键事实与 arXiv 官方元数据交叉核对。

图片：论文实际使用的 9 个图像文件（vla_compress、operators、success_rate_vs_vla、steps_v_num_obstacles、grasp1、grasp2、success_v_lighting_increase、success_v_lighting_decrease、Transfer_rate_rq5）经 pdftoppm 渲染为 PNG 并压缩为 WebP 内嵌；figs/ 目录中未被正文引用的 grasp_success_rate_vs_vla.pdf、vla.pdf 未收录。图注只描述图面可见内容，语义解释与跨图引申放正文。

• Wang, Z., Zhou, Z., Song, J., Huang, Y., Shu, Z., & Ma, L. (2025). VLATest: Testing and Evaluating Vision-Language-Action Models for Robotic Manipulation. Proceedings of the ACM on Software Engineering (FSE 2025). arXiv:2409.12894 · 代码与场景库
• Octo team (2024). Octo: An Open-Source Generalist Robot Policy. arXiv:2405.12213（被测模型之一）
• Kim, M. J. et al. (2024). OpenVLA: An Open-Source Vision-Language-Action Model. arXiv:2406.09246（被测模型之一）
• Hu, A. et al. (2021). Model-based Scenario Testing for Autonomous Vehicles. arXiv:2107.04103（轨迹覆盖度量的来源）
• 同系列阅读：本站 Q-DEG：在 VLA 自己的表示空间里红队它（环境轴红队）、Q-DIG：指令轴红队；本系列后续：MANGO、Metamorphic Testing、Embodied Red Teaming、Linguistic Fragility、LIBERO-PRO、VLA-Arena、Intention-to-Execution。

边界声明：本页为独立阅读笔记，与原作者无联系；真机数字、工业建议均为角色化解读，未被论文作者审阅。"报告性能 92%/90%" 等对比数字取自论文表格首行的自报值，其原始出处未经本页复核。