全球首创！AI看一眼视频就能「读出」双手，三个世界第一

2026-07-17 06:17:58 [探索] 来源：德瑞斯资讯网

新智元报道

【新智元导读】摒弃传统检测思路，全球直接从视频世界模型中「读取」手部姿态：在三大基准测试中刷新SOTA，首创视频手个世界让百万小时野生视频首次转化为机器人操作教材。看眼

机器人领域长期存在一个棘手难题，出双困扰业界数年：手部动捕。全球

并非技术不可行，首创视频手个世界而是看眼一旦进入真实场景便频频失效——当你端碗、拧瓶盖或从口袋掏手机时，出双手部一旦遮挡，全球最先进的首创视频手个世界检测器即刻失效，后续的看眼姿态重建随之崩溃。

全球顶尖团队为此叠加检测器、出双时序模块、全球运动先验及测试时优化……补丁层层叠加，首创视频手个世界仍无法克服遮挡瓶颈。看眼

我们另辟蹊径，重新定义视频生成模型的应用方式，一举攻克此难题。

近日，大晓机器人联合南洋理工大学与上海交通大学发布 ACE-ViDiHand—— 全球首个基于视频生成模型的4D手部动捕方法。

在 ARCTIC、HOT3D、HOI4D 三大权威基准上，ACE-ViDiHand 在 ARCTIC 和 HOT3D 的全部九项指标中位列第一，在 HOI4D 的九项指标中斩获八项第一。

最引人注目的数据：在严重遮挡场景下，ACE-ViDiHand 的帧准确率高达 0.997，而此前最强模型 WiLoR 仅为 0.919。

这意味着什么？同样处理1000帧视频，WiLoR 丢失81帧，而 ACE-ViDiHand 仅丢失3帧——几乎实现“零丢失”。

这标志着大规模、高质量的人手视频自动标注，首次成为现实。

论文标题《The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction》中的“Surprising”一词，恰如其分地表达了作者对这一惊人效果的认可。该项目将于近期全面开源。

论文链接：https://arxiv.org/abs/2606.30308

项目主页：https://ACE-ViDiHand.github.io

同期研究 Vision Banana 已证实：将图像生成模型用于视觉理解，其效果优于专门训练的判别式模型——会画画的AI，天然具备认知能力。

ACE-ViDiHand 将这一逻辑从图像扩展至视频，从2D扩展至4D：会生成视频的AI，天然理解手部运动规律。

手部动捕为何如此艰难？

手部动捕不仅是技术难题，更是具身智能的命门。

手部运动是人类操作意图最直接的载体。

抓、放、倒、拧、叠——每个灵巧操作的任务意图、动作过程及物体状态变化，均蕴含在手部轨迹中。

机器人若要从人类视频中学习操作，手部轨迹便是最核心的监督信号。这份“教材”的质量，直接决定了机器人策略学习的上限。

然而，这也是最难自动提取的数据。核心痛点仅两个字：遮挡。

端碗吃饭，手被碗遮挡；拧瓶盖，手指重叠；掏手机，整只手消失。

人类一眼便能识破，机器却难以应对。

目前主流方案分为两条路径：

图像路线（HaMeR、WiLoR、Hamba等）：依赖检测器先框选手部，再估算姿态。一旦手部遮挡，检测失效，姿态重建全盘崩溃。
视频路线（OmniHands、Dyn-HaMR等）：依靠跨帧注意力机制和运动先验，从前后帧中推断缺失信息。但此类时序模块基于稀缺的手部标注数据训练，识别能力尚显不足，更无法有效“猜测”被遮挡部分。

此外，现有运动先验仅建模手部本身，与物体、场景完全脱节——当手伸入抽屉时，先验与现实即刻冲突。

两条路径均陷入死胡同。多年未解，并非缺乏努力，而是方向偏差——所有人都在“手”本身做文章，却无人尝试转换出发点。

会画手的AI，无需再教认手

这一逻辑符合直觉：视频生成模型每日浏览互联网海量视频，早已学会“脑补”被遮挡的手部——此前仅无人从“手部”角度挖掘这一潜力。

以 Wan2.1 等视频生成模型为例，要生成无破绽的视频，其内部必须解决三大核心问题：

时空一致性：前一帧手在此处，后一帧不能瞬移；
2D到3D的推导：合理处理手的透视与大小变化，即“理解”三维几何；
遮挡内容推理：手被杯子遮挡后再次出现，模型必须知晓中间过程手的位置与动作。

这三项能力，正是手部动捕领域多年求而不得的关键——一个13亿参数的视频大模型在海量互联网视频上自然涌现的“世界先验”。

因此，ACE-ViDiHand 的核心思路是：不从零教AI认手，而是将手部姿态估计重新定义为——从视频世界模型中“读取”表征。

打个比方：一位画了十年画的人，闭眼亦知手部姿态与运动。无需再教其认手，只需递上画笔，让其将脑中形象直接呈现。

ACE-ViDiHand 所做的，正是递上这支“笔”。

如何实现？两步走

具体流程分为两个阶段：先教模型“画手”，再从模型内部“读手”。

第一步：教模型“盯手”

在原始视频的每一帧上叠加半透明手部渲染层——包括手部完全遮挡的帧。

为实现叠加连贯且不穿帮，模型必须在内部持续维护每只手的3D状态，即便画面中不可见。

这迫使模型在遮挡状态下持续“追踪”手部，而非简单补全可见像素。

训练分两步进行：先在大规模 EgoDex 数据上进行关节骨架叠加打底，再切换至 MANO 网格叠加进行精细对齐。全程不损失基座模型对场景和物体的理解能力。

第二步：读取“手”

从 DiT 第15层（共30层的中点）、去噪至约70%时的特征中，利用双分支解码器直接提取手部姿态。

为何选择这一层？消融实验结果符合直觉：太浅层仍在关注像素，太深层已开始思考如何“绘制”，L15、τ≈0.7 恰好处于“理解最深”的甜蜜点。

两条分支各司其职：

全局分支：整合手部全局信息，输出关节姿态。因手指弯曲牵一发而动全身，需全局视角。
局部分支：逐关节定位，输出2D坐标。因“手指在画面何处”属局部问题。

两条分支交换信息后，深度通过回归计算，平面位移通过闭式求解，一步得出结果。

整条管线直接输入全帧视频——无需检测器、无需裁剪、无需运动补全、无需测试时优化，单次前向传播即可同时输出双手4D轨迹。

性能表现有多强劲？

三大基准测试恰好覆盖手部动捕最典型的三类极端场景：

1. ARCTIC：重度遮挡双手操作

双手操作铰接物体，手指、手掌与物体交织缠绕。

关节误差 PA-MPJPE-p：降至 9.8mm，优于8个基线中最好的11.9mm；
2D端点误差 EPE-p：仅 12.4像素，最佳基线为50.5像素——降幅达4倍；
手部召回率与F1：均达 99.9%，帧级准确率 99.7%，帧级错误率较最强基线下降超 96%——即使在严重遮挡下也几乎不丢失手部；
抖动：3.18，此前最平滑方法为12.8——低近4倍。且后者依赖外挂运动补全模块和SLAM优化硬磨，ACE-ViDiHand 天生稳定，零后处理。