先讲一个故事:成功的定义里没有"怎么做的"
一个机器人在厨房里接到指令:"拿起苹果。"它伸手、抓稳、举到半空——评测系统亮起绿灯:任务完成。但如果你看完整段视频,会发现它为了够到苹果,胳膊肘扫翻了旁边的调料瓶;如果桌角多放一把勺子,它下一次会绕一个完全不同的大弯;如果你说"别拿苹果了",它可能照旧伸手。这些行为在"成功/失败"的二元判分里全部是隐形的——符号判定只问结果,不问过程 。
软件测试领域给这类困境起了个名字:oracle
problem(判定问题)——程序的输出正确与否,本身就没有一个可自动执行的标准。机器人领域把它放大了一整个数量级:VLATest
那样用"物体 A 在物体 B 上方 5cm
内"做判定,仍然只覆盖了任务语义;轨迹抖不抖、撞没撞、稳不稳,全部漏掉。2024
年那批 fuzzing 框架(包括我们上一页读的
VLATest)都绕开了这个问题——它们老老实实只判任务成败。
这篇论文(Valle 等,Mondragon/Luxembourg/Simula
团队)给的答案是软件工程里的老朋友:蜕变测试(Metamorphic Testing) 。不问"这条轨迹对不对",问"两条相关输入下的轨迹之间的关系对不对":指令里
pick 换成
grab,轨迹不该变;桌角加一个不挡路的勺子,轨迹不该变;目标物挪了
10cm,轨迹必须变、而且变得成比例。变化该发生时没发生、不该发生时发生了,都是故障信号——不需要知道正确答案长什么样,只需要知道答案之间的关系 。
数字口径:9,320 对"源-跟进"测试用例、超过 11,000 次仿真执行,覆盖 5 个
VLA(OpenVLA-7B、π₀、SpatialVLA-4B、GR00T-N1.5、EO-1)× SimplerEnv
四个标准任务。中等严格度下,MT 独立发现 1,991
个符号判定看不见的行为异常;最严格档下这个数是 3,527。
图 1(Oracle):论文的符号 oracle
流程——任务指令经代码执行出仿真世界状态,判定只覆盖任务语义(做没做成),不覆盖执行质量;本页全部
MR 判定发生在它旁边。
故事与技术如何对应
故事元素
论文概念
性质
"成功里没有怎么做的"
oracle
problem:符号判定只覆盖任务语义,不覆盖执行质量(轨迹最优性、稳定、碰撞)
动机
"pick 换 grab 不该变、加勺子不该变"
MRP1 轨迹一致性(TC):MR1 同义替换、MR2 非干扰物体、MR3
光照微调——Fréchet 距离 d_F ≲ δ
方法核心
"别拿苹果必须变、挪 10cm 必须成比例变"
MRP2 轨迹变化(TV):MR4 否定/任务反转(d_F ≳ δ)、MR5
目标物重定位(α‖Δp‖ ≲ d_F ≲ β‖Δp‖)
方法核心
1,991/3,527 个隐形异常
RQ1:三档严格度下 MT 与符号判定的重叠分析(Venn)
论文实证
调料瓶、大绕弯、照旧伸手
RQ3 失效分类学:MT 集中暴露 Motion/Manipulation
类(轨迹次优、控制不稳、碰撞),符号判定集中暴露
Planning/Reasoning 类
论文实证
先给结论
它是什么
把蜕变测试系统引入 VLA 评测:2 个蜕变关系模式(TC/TV)实例化为 5
条蜕变关系,用轨迹间 Fréchet 距离与严格度阈值 δ
自动判违约;与符号判定(任务成败)在同一批执行上做对照。结论是互补而非替代:符号判"做没做成",MT
判"做得怎么样"。
三个数
① 最严格档:7,822 个问题里 3,527 个只有 MT 能看见(45%),3,655
个两者都报。② 中严格档:MT 独有 1,991,与符号判定重叠
2,519——"既对齐又有增量"的最佳平衡。③ 192
个抽样失效的人工分类:符号判定的独有发现集中在任务未完成/动作序列错误;MT
的独有发现集中在轨迹次优、控制不稳、碰撞——执行质量与安全区。
最大的亮点
把"判定问题"从语义层抬到行为层,绕开了"为每个任务写正确标准"的泥潭;5
条 MR
全部任务无关(task-agnostic)、跨模型即插即用;失效分类学(192
例、Cochran 抽样、双专家标注)把"MT
到底多看到了什么"从口号变成了可检验的分布差异。
最大的保留
① 阈值 δ
是从观测距离分布的分位数 标定的(严格档=仅最低 20%
通过)——用同一批数据的分布自定阈值,有循环标定风险,论文自己也把自适应阈值标定列为未来工作。②
MR 违约 ≠ 任务失败:高严格档 45% 的"MT
独有"里有多少是真缺陷、多少是 rollout 噪声,没有人工全量判定。③
仿真局限(SimplerEnv 渲染域);④
"轨迹应该一致"的前提在接触丰富任务里未必成立(抓取本身有不可重复性)。
图 2(VLA_arch):被测 VLA
的感知-决策-执行管线(输入图像、指令与本体状态,经视觉编码/语言底座/动作解码输出动作序列)——MT
的比较对象是从初始状态到终态的完整轨迹。
研究动机:判定问题的三层缺口
把"机器人任务评测"拆开,判定问题有三层:第一层,符号判定的生成依赖模板 ——VLATest
用预定义任务/物体模板自动生成判定,但人类指令千变万化("拿起苹果""抓苹果""把苹果从桌上拿走"),模板追不上;LLM
生成判定又会引入幻觉与歧义。第二层,符号判定只看终态 ——轨迹是否最优、有没有碰撞、抓握是否稳定,二元成败一概不问;不稳定抓取、小碰撞、无谓绕路只要最后"成了"就是绿灯。第三层,非确定性 ——同一场景重跑,轨迹本就不同,"单次执行对不对"连定义都含糊。蜕变测试同时绕开三层:它不需要逐任务的正确性标准(绕开一),它比较的是执行行为本身(绕开二),它接受"关系满足/不满足"的相对判断(容纳三,通过容忍度
δ)。
方法谱系上,MT 在深度学习测试(DeepX
系列)、自动驾驶(同路线不同天气应同样行驶)、道路目标检测(亮度扰动
MR)里已是成熟工具;本文的贡献是把"轨迹"这个机器人独有的观测量变成 MR
的载体,并给出两个可复用的蜕变关系模式(MRP) :TC(不该变)与
TV(必须按预期变)——具体 MR 是模式的实例化,未来可继续派生。
方法:从模式到可执行测试
执行流程:① 在 SimplerEnv 四个标准任务上跑源测试用例(与 VLATest
同款任务套件:Google Robot 的 Pick Up/Move Near + WidowX 的 Put On/Put
In);② 对每个源用例,按 5 条 MR 各生成一个跟进用例(同义改写指令 / 加
0.1m 外物体 / 调光照 / 加否定 /
平移目标物),固定随机种子保证可复现;③
对源、跟进各跑一次模型,计算轨迹间 d_F;④ 与三档严格度阈值比较,判 MR
违约与否;⑤ 同一批执行再用符号判定(各任务的成功判据:抬起 ≥0.02m 连续
5 帧 / A 距 B ≤0.05m / 稳定堆叠 / 完全放入)独立打分,形成对照。
阈值标定 是整个方法最"软"的一环:作者从观测到的距离分布取分位数定义三档严格度——最严格档只有距离最低的
20% 通过,中档 50%,最宽档
80%;并人工抽查了各档边界的轨迹对,确认最高档的通过者确实看不出轨迹差异。这一定义意味着违约率是相对于自身分布校准的 :三档比较的是"离群程度",不是绝对物理量——论文的
threats to validity 承认了这一点,并把自适应阈值标定列为未来工作。
实验设置
被测模型(5): OpenVLA-7B(HF 基础
checkpoint)、π₀(SpatialVLA 作者提供的 Fractal/Bridge
数据集特调版)、SpatialVLA-4B(联合数据预训练版)、GR00T-N1.5(官方
SimplerEnv 微调版,Fractal/Bridge 各一)、EO-1(作者提供的
Fractal/Bridge
微调版)。全部用官方/作者发布权重——这一点值得肯定:很多评测论文自行微调引入混淆变量。平台: SimplerEnv,Google
Robot(Fractal 数据,Pick Up/Move Near)与 WidowX(Bridge V2 数据,Put
On/Put In)。规模: 9,320 对源-跟进用例,>11,000
次执行。RQ: ① MT 与符号判定的检出对比(三档阈值)②
五条 MR 各自的检出能力 ③ 两类 oracle 各自看到什么类型的失效(192
例人工分类)。
对照组注意:论文引用的 wang2025vlatest 即我们上一页读的
VLATest(指令模板生成判定被点名为"依赖模板"的局限),valle2025evaluating
是同组前作"评估 VLA 的不确定性与质量"——本页是这个研究线把 MT 引入 VLA
的正式一步,同一作者群(Valle/Ali/Arrieta/Briand 系)的
MANGO(本系列第 5 篇)会继续走"自动生成判定"的另一条路。
结果:三个研究问题的答案
RQ1:MT 与符号判定的重叠——互补确认
严格度
总检出
仅符号判定
仅 MT
两者都报
MT 独有占比
高(仅 20% 通过)
7,822
640
3,527
3,655
45.1%
中(50% 通过)
6,286
1,776
1,991
2,519
31.7%
低(80% 通过)
5,177
2,877
882*
1,418
17.0%
阅读法:高严格档下 MT 极敏感,独有检出
3,527——但其中不少是轻微行为偏差而非任务失败;中档是最佳平衡(独有
1,991,且重叠 2,519 最大,说明剩余违约与正确性失败高度对齐);低档 MT
主要起"复认"作用。*低档"仅 MT"论文原文写 8,882,与总数 5,177
矛盾(2,877+8,882+1,418≈13,177)——按总数反推应为
882(2,877+882+1,418=5,177),本页按校正值 882
引用,这是一处应勘误的排版错误。
图 4(Venn_matrix):RQ1 重叠分析——三档严格度下符号判定与 MT
各自独有及重叠的检出数(按任务/模型分列)。
RQ2:哪条 MR 最能暴露问题——加物体第一,改指令第二
图 5(Heatmap_MR_violation):RQ2 的 MR
违约率热图(任务×模型,每格高/中/低三档)——MR2(加非干扰物体)最深,MR4(否定)次之,MR5(重定位)最浅。
违约率热图(行为任务×模型、列为高/中/低三档):MR2(加非干扰物体)在绝大多数模型-任务组合里违约率最高 (高严格档大多
80%+;低档在 20 个组合中仍 14 个居首)——桌角一个无关物体就能让五个
2026 年的 SOTA VLA 里的大多数轨迹显著变形,与 VLATest 在 2024
年模型上发现的"干扰物敏感"一致且更严重(VLATest
是成功率的下降,这里是纯轨迹层的形变,阈值宽松得多)。MR4(否定)在中等严格档名列第二 ——语义反转经常被无视。MR1(同义词)/MR3(光照)对阈值最敏感——说明模型对词法/光照有一定容忍,但离群行为仍存在。MR5(重定位)违约率最低——模型对目标位移的自适应相对最好(与"该变"的预期大体一致)。
RQ3:MT 到底多看到了什么——失效分类学
图 6(Taxonomy):RQ3
失效分类学——Planning/Reasoning(任务未完成、动作序列错误)、Motion(轨迹次优、控制不稳、碰撞)、Manipulation(抓握不稳、释放错误)三大类。
192 个失效(Cochran
抽样,p=0.05;第一作者初标、第二作者复核,GPT-5.2/Gemini 3/Grok 4 三个
LLM 仅做分类学建议、最终裁决归作者)人工归入三大类:Manipulation(抓握不稳、放置释放错误)、Motion(轨迹次优、控制不稳、碰撞)、Planning
& Reasoning(任务未完成、动作序列错误) 。分布结论:符号判定的独有发现集中在 Planning/Reasoning (任务没完成但轨迹行为本身"正常");MT 的独有发现集中在 Motion/Manipulation (任务成功了,但轨迹振荡、绕路、剐蹭)。两者重叠部分是"既失败又行为异常"的重症。这正面回答了"MT
是不是玄学":它系统性看到的不是随机噪声,而是符号判定结构上看不见的执行质量类失效——对安全关键场景(碰撞、失稳)尤其重要。
审稿人视角:这篇论文好在哪、弱在哪
好在哪。 ① 问题选得准 ——oracle problem
是 VLA 评测的真瓶颈,本文不做又一个场景生成器,而是攻击判定本身。②
方法迁移干净 ——TC/TV 两个模式 + 5 条 MR + Fréchet
距离,全流程无一项是模糊不可复现的;阈值三档虽然软,但作者对它的局限完全坦白。③
RQ3 的分类学是加分项 ——不做"MT
发现了更多故障"的空话,用 192 例人工分类证明两类 oracle
看到的故障类型不同 ,这让"互补"从修辞变成可检验命题。④
全部用官方/作者发布权重 ,5 个模型横跨三个架构家族(RT
系之外还有 SpatialVLA/GR00T/EO),排除自行微调混淆。⑤
复现包完整(代码+配置+种子)。
弱在哪。 ①
阈值循环标定 ——分位数阈值在同批数据上定义"离群",不同模型/任务的"高违约率"不可横向直接比;跨机器人/任务的绝对标定(如物理单位距离)缺位。②
MR 违约的严重性未分级 ——3,527
个高档独有违约里,"碰撞"和"轻微绕路"同为一票;没有对 MT
独有违约做严重度加权或安全分级。③
单次执行、无重复 ——VLA 非确定性下,d_F
的噪声底没有量化(多少 δ 以下的差异纯属 rollout
随机?论文只人工抽查)。④
仿真接触物理 ——抓取的不可重复性在真实机器人上更严重,"轨迹应该一致"的前提在接触富任务(插销、堆叠)可能整体不成立;结论限定在视觉主导的桌面对象操作。⑤
MR4 的"合法静止"语义 ——"别拿苹果"下机器人停在原地算通过,但停在原地也可能是 VLA
对任何指令都僵死的症状——需要与"反向指令执行"(如"放下")交叉验证,论文未做。
一句话定位。 VLATest
证明了"怎么出题",这篇证明了"怎么判卷"——把评测从任务语义层抬到行为层。它给出的绝对违约率不可直接跨设定比较,但"TC/TV
+ 轨迹距离"这个判定框架会比任何一个具体数字活得久。
One More Thing:不是一个 oracle,而是互补的判定层
跨论文看,VLA 测试里的 oracle
问题更像是判定职责如何拆分 ,而不是某一种方法能否一劳永逸解决。VLATest 侧重生成多样化场景并以任务终态检查成败;本文把观察对象转到变换前后的轨迹关系,用一致性与变异性补看执行行为。洞见一:出题覆盖与过程判定是不同轴,更多场景并不会自动补上对执行质量的判定。
MANGO 代表另一种互补路线:把任务级判定转为自动生成、可执行的
oracle/断言;MT
则以变换关系缓解逐任务编写精确答案的困难。洞见二:生成断言与变形输入可组合成「先用关系筛查异常,再用语义断言定位任务失败」的分层工作流,但这只是研究设想,现有页面所述论文没有报告该组合实验。
ERT(Embodied Red-Teaming) 把重点放在主动寻找风险/脆弱行为;MT
提供的是对成对执行轨迹的关系判定。洞见三:红队搜索可负责「找哪些输入值得测」,蜕变关系可负责「变换后行为是否符合预期」,二者有潜在流水线接口,却不能把
MR 违约直接等同于安全漏洞或真实事故。
证据边界: 以上对照是基于这些公开阅读页所呈现的问题设定作出的概念综合,不是统一基准上的性能比较,也不证明方法已经兼容、提升覆盖或降低风险。本文自身的证据仍限于
SimplerEnv、四类任务与所测五个 VLA;MR
违约不是任务失败标签,更不是故障率。较稳妥的结论是:语义 oracle
回答「任务是否完成」,MT
回答「行为对输入变化是否合乎关系」,两者互补但都不能独自充当完整安全证明。
Other Discussion Roles / 其他讨论角色
以下七个角色使用 MIT MAS.S60 课程原始
prompt,从不同责任位置审视同一篇论文。
Scientific Peer Reviewer
The paper has not been published yet and is currently submitted to a
top conference where you’ve been assigned as a peer reviewer.
Complete a full review of the paper answering all prompts of the
official review form of the top venue in this research area (e.g.,
NeurIPS). This includes recommending whether to accept or reject the
paper.
科学同 reviewer:判定层的系统性实验
本文把 metamorphic testing
的标准工具箱(MRP→MR→阈值判定)完整移植到 VLA
轨迹层,设计上无发明但选择恰当:Fréchet
距离对轨迹比较是社区标准;TC/TV
二分(不变量/应变量)覆盖了输入变换的两大类。实验方法学是亮点:9,320
对用例、官方权重、双 oracle 同执行对照、192 例 Cochran
抽样人工分类——"互补性"主张有类型层面的证据,不只是计数。
主要保留:①
分位数阈值在同批数据上自标定,违约率跨模型不可直接横向比较——这是最大的方法学软肋;②
单次执行下 d_F 的噪声底未量化,理想模型在非确定性 rollout
下也会有非零 d_F,δ 的物理含义依赖人工抽查;③ MR2"非干扰"只有 0.1m
距离这一档,没有扫距离梯度验证"干扰性"假设本身。④ 192
例分类的标注者仅两位专家,LLM 只做建议——分类学可靠但规模有限。⑤ MR
违约与真实故障的映射未在真机上验证。
风险与公平性:结论限于 SimplerEnv
渲染域与视觉主导的桌面操作;"轨迹应该一致"的前提在接触富任务与真机抓取上可能不成立,不应外推为通用安全审计方案。
Archaeologist
This paper was found buried under ground in the desert. You’re an
archeologist who must determine where this paper sits in the context
of previous and subsequent work. Find and report on one older paper
cited within the current paper that substantially influenced the
current paper and one newer paper that cites this current paper.
考古学家:oracle problem 的第四次行业迁移
oracle problem 是软件测试的经典困境(Barr 等 2014
系统化综述),蜕变测试(Chen 1998 提出、2018 年 Segura/Zhou
综述)是标准应对。行业迁移路径清晰:深度学习测试(Tian 等 2018
用天气/角度 MR 测自动驾驶感知)→ 道路目标检测(亮度 MR)→ 本页的
VLA 轨迹层。本文在谱系上的位置:把 MR
的载体从"模型输出类别"换成"机器人轨迹",用 Fréchet 距离(1906
年的老工具)做比较器。
上游:同组前作 valle2025evaluating(VLA
不确定性与质量评估)先确认了符号判定缺口;本文引用
wang2025vlatest(VLATest,本系列第 2
篇)并点名其"模板依赖"局限——两篇构成本系列的直接对话链。下游:同组
MANGO(本系列第 5
篇)转向"自动生成符号判定",与本页的"绕开符号判定"构成 oracle
problem 的两条对立路线。论文正文还留有一条被注释掉的
MR6(水平翻转+轨迹镜像)——考古价值在于显示作者考虑过对称性检验但工程成本放弃,说明
MR 设计空间远未穷尽。
Academic Researcher
You’re a researcher who is working on a new project in this area.
Propose an imaginary follow-up project not just based on the current
but only possible due to the existence and success of the current
paper.
学术研究者:可发表的后续问题
本文留下的最有价值研究问题:①
绝对阈值标定 ——用物理单位(米/弧度)或真机重复执行的自然变异分布标定
δ,替代分位数;② MR 违约的严重度分级 ——把 d_F
与碰撞检测、力反馈、任务完成度融合成加权风险分,而不是单票违约;③
MR 与失败搜索的结合 ——本文 MR
是随机采样的源用例,把 MR 违约率作为质量指标接进 CMA-ES/QD
搜索(如 Q-DEG
的环境轴)可以直接生成"行为不一致环境",这是与红队路线的自然杂交;④
接触富任务 ——插销/堆叠任务中"轨迹一致"前提失效,需要接触事件序列的
MR(抓住/掉落/推倒的事件级关系);⑤
真机验证与跨本体泛化(论文自己列的人形机器人方向)。
Industry Practitioner
You work at a company or organization developing an application or
product of your choice (that has not already been suggested in a
prior session). Bring a convincing pitch for why you should be paid
to implement the method in the paper, and discuss at least one
positive and negative impact of this application.
工业界工程师:能直接拿走什么
①
五条 MR 可直接实现为 CI 冒烟测试 ——同义词替换、加远物体、光照微调、否定、目标平移,全部不需要任何任务特定工程量,一天可以写完比较器(Fréchet
距离开源实现很多);②
回归测试的价值 ——模型/固件更新后跑固定种子 MR
套件,比较违约率分布漂移,比单点成功率更能捕捉行为退化;③
部署验收组合拳 ——符号判定筛功能(做成没做成)+ MR
筛行为(做得稳不稳),对安全相关场景(家庭服务、协作臂)后者经常被完全省略;④
阈值不要照抄论文的分位数法——用自己的真机重复执行数据标定噪声底再设
δ。
Hacker
You’re a hacker who needs a demo of this paper ASAP. Implement a
small part or simplified version of the paper on a small dataset or
toy problem. Prepare to share the core code of the algorithm to the
class and demo your implementation. Do not simply download and run
an existing implementation – though you are welcome to use (and give
credit to) an existing implementation for “backbone” code.
可复现性黑客:判定器一小时复刻
MR 判定的核心是轨迹距离比较器。我用经典递归离散 Fréchet
距离写了一个 30
行的最小复刻脚本(临时玩具实现),在一条合成抓取轨迹上模拟四条
MR:
d_F(MR1 同义词) = 0.000 → 通过(≤δ)
d_F(MR2 加勺子) = 0.045 → 违约
d_F(MR4 否定照做) = 0.000 → 违约(必须变而没变)
d_F(MR5 挪0.1m) = 0.080 → α·0.1 ≤ d_F ≤ β·0.1, 取 α=0.5,β=2: 通过
这是机制玩具,不是复现:合成轨迹、δ=0.03 与 α/β
为随手取值;论文的连续 Fréchet、分位数阈值、11,000 次真实 rollout
都不在此玩具内。但它验证了一个判断:MR
判定器的工程成本极低,真正的成本在执行(每个跟进用例要完整跑一遍模型)与阈值标定(需要自己的噪声底数据)。复现包(论文引用
MT_replication_package)含代码、配置与种子,位于 Zenodo。
Private Investigator
You are a detective who needs to run a background check on one of
the paper’s authors. Where have they worked? What did they study?
What previous projects might have led to working on this one? What
motivated them to work on this project? Feel free to contact the
authors, but remember to be courteous, polite, and on-topic.
私家侦探:作者、资助与发表状态
作者四人:Pablo Valle(Mondragon University)、Sergio
Segura(University of
Seville,蜕变测试领域的知名综述作者)、Shaukat
Ali(Simula/奥斯陆)、Aitor Arrieta(Mondragon
University)——Segura/Ali 是测试社区长期合作者;同组系列前作
valle2025evaluating(VLA 不确定性与质量评估)与后续 MANGO
共享部分作者。资助明确(v2 致谢节):巴斯克政府 PRE_2025_2_0252
博士资助、挪威研究理事会 Co-tester 314544、西班牙 MCIU
PID2023-152979OA-I00 与
PID2024-156482NB-I00。发表状态:arXiv:2602.22579,v1
2026-02-26、v2
2026-03-17;致谢仅含资助信息,未声明会议录用——2026-10-20
检索未见官方 proceedings 记录,不能写成已发表会议论文。
Social Impact Assessor
Identify how this paper self-assesses its (likely positive) impact
on the world. Have any additional positive social impacts left out?
What are possible negative social impacts that were overlooked or
omitted?
社会影响评估者:行为层评测为谁服务
本页的社会意义在于把"机器人安全"从事故叙事推进到可测量的行为一致性:碰撞、失稳、无谓绕路这些
MT
捕捉的失效在二元成功率里全是隐形的,而它们恰恰是家庭/服务场景里伤害与财产损失的直接来源。政策层面:未来任何具身智能安全标准(类
ISO 26262 的功能安全迁移)都需要"行为层判据",本文的 MR
框架是目前最轻量的候选之一。
反向风险:①
"违约率"若被误读为"故障率"会造成恐慌或错误采购决策——论文自己强调违约≠任务失败;②
阈值自标定意味着不同供应商报告的违约率不可横向比较,标准化机构若不先规定阈值标定方法,这个指标会被营销滥用;③
MT
捕捉"不一致"但不区分"不一致但安全"与"不一致且危险"——安全分级是缺失的一环。隐私:本文不涉及真实用户数据,风险低。
Reference / Evidence
参考文献与证据边界
阅读基线: arXiv 2602.22579v2(2026-03-17),IEEE
会议格式(作者栏为 IEEE author block,未见正式 proceedings
记录)。作者:Pablo Valle, Sergio Segura, Shaukat Ali, Aitor
Arrieta(Mondragon University / University of Seville /
Simula)。本页全部数字取自 arXiv TeX 源码的
results.tex、empirical_study.tex、approach.tex;五幅论文原图(Oracle、VLA_arch、Venn_matrix、Heatmap_MR_violation、Taxonomy)经渲染目检核对。
数值校勘: results.tex 低严格档"MT-only"印为
8,882,与总数 5,177 及另外两分项矛盾;按分项和反推应为
882(2,877+882+1,418=5,177),本页按校正值引用并标注。中等档(1,776+1,991+2,519=6,286)与高档(640+3,527+3,655=7,822)分项和与总数一致。v1
首发 2026-02-26 经 arXiv API 核验(published 字段)。
图片: figs 目录中 Venn_matrix.png 与
Heatmap_MR_violation.png 为 PNG 原生图,其余 PDF 图经 pdftoppm 渲染为
PNG 再压缩 WebP 内嵌;图注只描述图面可见内容。
Valle, P., Segura, S., Ali, S., & Arrieta, A. (2026). Metamorphic
Testing of Vision-Language Action–Enabled Robots.
arXiv:2602.22579
· 复现包 Zenodo DOI 10.5281/zenodo.18750976
Wang, Z. et al. (2025). VLATest(本系列第 2 篇,本文引用为其 oracle
局限的对照).
arXiv:2409.12894
Segura, S., & Zhou, Z. Q. (2018). A Survey on Metamorphic Testing.
IEEE TSE .(MR 方法学综述)
Valle, P., Lu, C., Ali, S., & Arrieta, A. (2025). Evaluating
Uncertainty and Quality of Visual Language Action-enabled
Robots(同组前作).
arXiv:2507.17049
同系列阅读:本站
VLATest:给机器人模型出 18,604 道题 、Q-DIG:指令轴红队 、Q-DEG:环境轴红队 ;系列后续:MANGO、ERT、Linguistic
Fragility、LIBERO-PRO、VLA-Arena、Intention-to-Execution。
One More Thing 跨论文对照:MANGO:oracle 生成 ;ERT:具身红队测试 。跨论文关系为概念层综合,不代表共同实验或直接实证比较。
边界声明: 本页为独立阅读笔记;"MR2
加物体即轨迹形变"与红队搜索结合等外推为角色化解读,未被论文作者审阅。Fréchet
toy 为自写机制演示,不代表论文复现。