具身智能空间视觉死穴，终于被最新顶会彻底解决！

2026-07-17 17:19:48 [综合] 来源：德瑞斯资讯网

新智元报道

【导读】视觉-语言-动作（VLA）大模型虽展现出强大的具身决操作潜力，却长期受制于一个致命弱点：相机视角的智能终于微小偏移（仅几毫米）即可导致操作成功率断崖式下跌。招商局先进技术研究院下属狮子山人工智能实验室提出了一种创新的空间移动数据范式，首次在真实机器人系统中证实：通过让相机动态采集数据，视觉死穴能以极低成本突破 VLA 模型的被最空间泛化瓶颈。该方案效果普适，新顶适用于多种主流 VLA 架构。底解

近年来，具身决VLA 模型已成为具身智能领域的智能终于核心焦点。

英伟达的空间 Gr00t 系列、Physical Intelligence 的视觉死穴 π 系列等模型，均展现了流畅且精准的被最动作执行及复杂操作能力。

然而，新顶行业普遍面临一个棘手难题：这些模型极度「脆弱」。底解

当训练好的具身决机器人从实验室 A 迁移至实验室 B，或相机发生轻微位移导致画面中物体相对位置变化几个像素时，模型性能往往瞬间崩溃。

这并非孤例。

斯坦福-谷歌联合研究（Generalization-Gap）、同济-复旦联合研究（LIBERO-Plus）等多方团队的研究均指向同一结论：VLA 模型在标准评测中成功率常超 90%，但在相机视角微调后，成功率可能骤降至 30% 以下。

根源何在？

招商局先进技术研究院狮子山人工智能实验室（以下简称「研究团队」）在新论文中给出了精准诊断与解决方案：核心症结在于捷径学习（Shortcut Learning），而破局之道在于混合动态数据采集策略（Hybrid Dynamic Data Collection）。

该研究成果已被机器人领域旗舰会议 IROS 2026接收。

论文地址：arxiv.org/abs/2607.02322
项目地址：306327680.github.io/LionRockMultiViewPaperWeb

三重「隐性耦合」：VLA 并非理解空间，而是记忆坐标

研究团队识别出 VLA 模型中普遍存在的三种捷径学习模式，其本质均为物体间相对位姿的虚假关联：

1. 相机-基座耦合（Camera-Base Coupling）

模型并未真正理解「笔在桌面的绝对位置」，而是记住了「笔位于画面右下角 1/4 处」等固定视觉规律。
* 后果：一旦相机视角偏离训练集分布，模型即「失忆」。这是最普遍的问题，视角微小变化即可导致成功率从 85% 暴跌至 43%。

2. 相机-物体耦合（Camera-Object Coupling）

模型依赖特定角度识别物体。同一物体在不同视角下，对模型而言可能被视为「完全不同的实体」。

3. 物体-位置耦合（Object-Position Coupling）

这是最隐蔽的陷阱。即使使用多视角数据，若物体间相对位置固定（如笔筒始终在笔右侧 10cm），模型将学会「向右移动 10cm」这一捷径，而非理解「放入笔筒」的语义逻辑。

实验验证：
针对「抓笔入筒」任务，研究团队在采集数据时固定笔筒位置。
* 结果：笔筒处于固定位置时，成功率 95%；仅将笔筒平移一个直径距离，成功率即跌至 72%。

这证明模型并未理解操作语义，仅是在重复执行固定坐标的移动指令。这是 VLA 的致命软肋：你以为它「看懂了」，其实它只是「记住了」。

「运动之眼」：基于移动视角的新数据范式

既然问题源于数据中的虚假相关性，研究团队提出从数据源头入手，通过让相机运动获取多视角数据，提出层次化数据解耦策略（Hierarchical Data Decoupling），将采集分为三类：
1. 固定视角（Fixed View）
2. 多固定视角（Multi-Fixed）
3. 移动视角（Moving View）

为何移动视角有效？
相较于多固定视角，移动视角在同等数据量下提供了更稠密、近似均匀的多视角采样。
* 打破耦合：相机沿连续轨迹运动，使背景、观察角度、相对位置在帧间持续变化。
* 强制学习：模型无法依赖固定视觉规律「作弊」，被迫学习真正的空间几何关系。

真实系统实现：
研究团队在双臂机器人平台上实现了该范式：
* 操作臂：So-101，配备腕部相机采集操作视角。
* 环境臂：求之（Airbot）机械臂，搭载环境相机作为6 自由度「运动之眼」。
* 运动参数：线速度 0.05m/s，平均角速度 0.198 rad/s，沿轨迹连续运动。
* 数据格式：30FPS 连续 MP4 视频，通过开源 LeRobot 管线采集。

混合动态数据采集策略：平衡方差与收敛

初步实验发现，单一数据源存在局限：
* 纯移动视角：视觉输入方差过大，策略难以收敛（Gr00t 模型成功率仅 54.8%）。
* 纯多固定视角：收敛性好（成功率 80.5%），但多样性不足。

解决方案：
将多固定视角与移动视角数据按 1:k比例混合，形成互补。

通过系统搜索，在 Gr00t 模型上发现最优配比 k=3时，最佳表现达到 89.0%。
* 通用规律：不同模型最优比例各异，但普遍遵循「以多固定视角为主，辅以部分移动视角」的混合策略。

此外，研究团队在采集中系统性注入多维度多样性，确保任意两物体间无固定相对位姿，从根源消除虚假相关性。

跨架构与跨任务的普适性验证

研究团队将混合数据方案应用于 ACT、Diffusion Policy、π0 等主流 VLA 模型，结果显示：
* 性能提升：所有架构均受益，综合性能最高提升 26.8%。
* 普适性证明：空间泛化脆弱性是 VLA 的普遍特征，而非个别模型缺陷，混合数据方案是通用解法。

创新发现：空间感知能力的跨任务迁移
实验揭示了一种全新的能力组合方式：空间感知能力可跨任务「借用」。

场景：为每个物体采集多视角数据成本高昂。
解法：仅为一个「代表任务」（如抓放笔）采集多视角混合数据，即可将空间感知能力「移植」到其他任务。
结果：在常规固定视角多物体抓取任务中，基线成功率 43%；注入等量多视角笔任务数据后，成功率跃升至 83%。

这意味着模型从简单任务中学到的「理解不同视角下的空间关系」，被泛化至未见过的复杂场景。空间感知不再绑定于具体任务，而成为一种可迁移的通用「视觉素养」。

总结与应用展望

「运动之眼」混合数据采集范式的核心贡献归纳为三点：

问题诊断：首次系统性揭示 VLA 模型的三重隐性耦合，指出虚假相关性是导致新环境性能退化的元凶。
优雅解法：无需修改模型结构，仅需让环境相机运动并配合最优比例的数据混合，即可大幅提升空间泛化能力。该方法已在 ACT、Diffusion Policy、Pi0、Gr00t 等主流架构上验证。
能力迁移：证实空间感知是一种通用视觉素养，可从简单任务迁移至复杂任务，为降低实际部署中的数据采集成本开辟新路径。

应用前景：
* 家庭服务：机器人无需在每个家庭重新采集数据，即可适应不同光照、家具布局。
* 工业装配：容忍相机安装的微小偏差，降低部署精度要求。
* 智能仓储：借助跨任务迁移，只需为少量代表物品采集多视角数据，即可快速适配新品类。

随着主动视角规划、自动化标注与训练管线的融合，「运动之眼」有望推动 VLA 从实验室走向真实世界，实现类人化的三维空间感知。