上海人工智能实验室造出了一个"会预见未来"的机器人大脑

2026-07-18 01:39:14 [百科] 来源：德瑞斯资讯网

上海人工智能实验室（Shanghai AI Laboratory）物理智能团队最新研究成果——InternVLA-A1.5，上海实验室造以预印本形式于2026年7月发布（论文编号：arXiv:2607.04988）。人工该系统突破了传统机器人控制的机大脑两难困境，成功将语言理解、器人物理预见与精准行动融合于单一架构，上海实验室造为具身智能迈向通用化提供了关键路径。人工

一、机大脑核心突破：破解“顾此失彼”的器人机器人控制难题

人类在执行简单指令（如“将橙色试管插入第三号孔”）时，大脑能同步完成语义解析、上海实验室造空间想象与力度预判。人工然而，机大脑现有机器人系统长期受限于两类能力的器人割裂：
1. 语言-视觉模型：擅长理解复杂指令，但缺乏对物理世界的上海实验室造实时感知。
2. 视频预测模型：精通物体运动规律，人工却难以处理抽象的机大脑语言逻辑。

强行合并两者往往导致性能相互削弱。InternVLA-A1.5提出“悄悄学会预见”的创新范式：在训练阶段利用强大的视频生成模型提取物理规律，将其压缩为50个“预见令牌”（Prediction Tokens）；在推理阶段丢弃视频生成器，仅保留令牌，从而在保持毫秒级响应速度的同时，内化了深厚的世界知识。

传统方法的三大痛点

能力遗忘：动作训练导致预训练语言模型的理解能力退化。
目标干扰：视觉预测、动作生成与语义理解在数学空间上难以兼容。
重复造轮子：未利用现有顶级视频生成模型（如Sora、WAN）已掌握的物理先验。

二、架构设计：三位一体的协同机制

InternVLA-A1.5采用“学者+助手”的双模块架构，通过共享注意力层实现信息交互，通过独立线性层避免干扰。

1. 语言基础巩固：统一“下一个词”范式

系统并未在机器人训练初期冻结语言模型，而是持续进行视觉问答与子任务预测。通过FAST工具将连续动作离散化为“动作令牌”，所有任务（问答、动作、子任务）统一转化为“预测下一个词”的形式。这种统一格式大幅降低了任务间的梯度干扰，保护并增强了语言理解能力。

2. 预见令牌：知识蒸馏的核心

机制：引入50个可学习的“预见令牌”，作为当前状态与未来物理规律之间的桥梁。
训练：令牌将图像与指令编码为摘要，输入至冻结的WAN2.2视频生成模型（50亿参数）以预测未来4帧。仅更新令牌参数，视频模型参数保持不变。
推理：训练完成后，WAN模型被移除，仅保留50个令牌。这使得系统能在0.1秒/步的高速度下，利用内化的物理知识进行决策。

3. 双路动作输出：粗粒度与精度的平衡

离散动作令牌：源自语言模型，用于辅助训练收敛。
连续动作输出：源自轻量级统一专家模块（约4.6亿参数），通过流匹配（Flow Matching）技术从噪声中推导精确关节角度。推理阶段仅使用此路输出，确保动作的平滑性与实时性。

三、训练策略：三步走的数据配方

阶段一：语言基础巩固（30万步）

目标：让模型在保持语言理解的同时，适应机器人操作场景。
方法：混合视觉问答与机器人数据，统一输出格式为文本序列。

阶段二：预见与精准行动（60万步）

目标：引入预见令牌与连续动作预测。
损失函数：$L_{total} = L_{lang} + L_{video} + 10 \times L_{action}$
$L_{lang}$：语言交叉熵损失（权重1）
$L_{video}$：视频预测损失（权重1）
$L_{action}$：动作流匹配损失（权重10，强调执行精度）

阶段三：针对性微调（6万步）

目标：适配特定任务场景。
方法：小学习率、小批量数据微调，可选择性保留视频分支以进一步打磨预见令牌。

数据构成

机器人操作数据：120万条轨迹，8.61亿帧图像。
46%仿真数据（InternData-A1）
54%真实数据（AgiBotWorld, UMI, DROID等），采用分层采样策略防止仿真数据主导。
多模态理解数据：300万条样本（来自InternVLA-M1），包括视觉问答、定位、轨迹预测等，以15:85的比例与机器人数据混合，确保语言根基稳固。

四、技术细节：注意力掩码与信息管控

为确保模块间协作而非干扰，团队设计了精细的注意力掩码（Attention Mask）：
1. 语言模型侧：标准因果掩码，仅关注历史信息，保证语言建模的自然性。
2. 助手侧：
* 预见令牌：可读取所有语言上下文。
* 动作令牌：可读取预见令牌与语言上下文。
* 防火墙机制：助手严禁读取离散动作令牌，防止梯度干扰与“抄答案”现象。

五、性能表现：真实与仿真双领先

1. 真实世界任务测试

与π0.5及Motus系统对比，InternVLA-A1.5在未见指令组合上展现显著优势，证明其具备真正的泛化理解能力，而非死记硬背。

任务类型	描述	InternVLA-A1.5	π0.5	Motus	关键洞察
试管分拣	颜色/手臂/盒子组合泛化	75.9%	77.8%	64.8%	在未见组合上领先，体现指令理解力
试管插孔	高精度空间定位	72.5%	51.7%	44.2%	未见组合领先π0.5约13%
试管移位	跨架转移	80.5%	72.7%	56.2%	未见组合领先π0.5约23%
MOF合成	13步复杂化学流程	76.4%	29.3%	0%	深刻理解物理状态变化（如液面升高）

2. 仿真基准测试

在LIBERO、RoboTwin、DOMINO等六大基准中全面领先：
* LIBERO：平均成功率98.9%，超越π0.5（96.9%）。
* LIBERO-Plus：84.8%，展现极强的视觉鲁棒性（光照、视角变化）。
* RoboTwin 2.0：综合平均93.2%，场景稳定性极高。
* DOMINO：零样本27.7%，微调后29.3%，超越此前最佳。
* SimplerEnv：迁移成功率80.8%，领先π0.5超23个百分点。