港科大携手蚂蚁集团：当AI导演开始"记住"视频里的每一个角色

这项由香港科技大学、港科蚂蚁集团、大携导演浙江大学及香港中文大学联合完成的手蚂视频研究成果，已于2026年7月2日以预印本形式发布在arXiv平台，蚁集论文编号为arXiv:2607.02517。团当感兴趣的开始技术人员与研究者可通过该编号查阅完整论文详情。

你是记住角色否曾遇到过这样的尴尬场景：观看一部电影时，主角刚走出画框，港科镜头一转回来，大携导演演员的手蚂视频脸却突然换成了另一个人？虽然传统电影制作中极少出现这种低级失误，但在AI生成视频领域，蚁集这却是团当普遍存在的痛点——当前的AI视频模型往往患有严重的“脸盲症”，一旦角色离开视野，开始再次出现时便无法维持身份一致性。记住角色

更深层的港科问题在于，现有AI视频系统如同一个只有“短期记忆”的监控摄像头，仅处理当前帧画面，无法追踪离开视野角色的后续状态。因此，当镜头重新聚焦时，AI往往给出三种糟糕结果：人物静止冻结、容貌突变，或直接凭空消失。

针对这一核心挑战，研究团队提出了名为WorldDirector的解决方案。顾名思义，该系统旨在赋予AI“世界导演”的能力，使其不再被动录制画面，而是像人类导演一样，掌控场景中所有角色的运动轨迹，确保无论镜头如何切换，每个角色都保持连续且完整的“生命状态”。

一、 剖析AI视频系统的“失忆症”根源

要理解WorldDirector的创新，首先需厘清现有模型为何会“失忆”。

可以将现有AI视频生成模型比作一位短期记忆极差的画家。若你要求他“画一个走路的女人和一辆静止的跑车”，他能完成创作；但若女人走出画面，你再问“女人现在在哪”，他便无法回答，因为他的记忆仅限于“可视范围”。

现有模型普遍采用“一锅炖”的处理方式，将角色位置、运动轨迹与外貌细节压缩在同一套神经网络权重中。这种模式在短片段中尚可应付，但一旦角色离开画面，系统便会丢失其所有信息，导致再次出现时要么捏造新形象，要么让角色“冻结”。

研究团队指出，解决此问题需同时满足两个条件：
1. 独立运动意志：即使摄像机未注视，角色也应遵循物理逻辑继续移动。
2. 外貌一致性：无论消失多久，角色重现时必须保持相同的脸、衣着及特征细节。

二者缺一不可，否则无法实现真正的“世界模拟”。

二、 架构革新：“导演大脑”与“摄影机”分离

WorldDirector的核心设计借鉴了电影制作流程，将传统AI模型中合一的职能彻底解耦：

• 导演大脑（LLM）：由大语言模型担任，负责规划所有角色的三维运动轨迹。
• 摄影机（Video Generation Model）：由视频生成模型担任，负责根据指令渲染画面。

工作流程如下：
1. 场景识别：系统识别初始画面中的动态对象（如女人、跑车）。
2. 剧本翻译：用户输入文字描述（如“女人向前走，镜头右旋，跑车前行”），LLM将其转化为精确的三维坐标轨迹。
3. 投影指令：三维轨迹被投影至二维平面，生成每一帧的边界框（Bounding Box）序列。
4. 位置引导：边界框作为“位置指令”输入视频生成模型，明确告知每帧中角色的具体位置。

这种分离确保了即使镜头移开，导演大脑中的三维轨迹仍在持续更新。当镜头回转时，系统能精准定位角色位置，彻底解决“看不见即遗忘”的问题。

三、 视觉身份证：外貌绑定与时间丢弃机制

知道角色在哪还不够，还需确保“还是同一个人”。为此，团队设计了外貌绑定（Appearance Binding）机制，相当于为每个角色颁发“视觉身份证”。

• 历史外貌提取：系统从已生成的帧中裁剪出该对象的历史外貌图像，并精确放置于当前帧对应位置，作为生成参考。
• 时间丢弃机制（Temporal Drop Mechanism）：
• 问题：若每帧都提供完整参考图，角色动作会像照片平移，缺乏自然动态感（“滑翔”效应）。
• 解决方案：在角色进入画面的前16帧密集提供外貌参考，以快速锁定特征；之后降低频率，每6帧提供一次参考，其余帧由模型根据运动轨迹和语义描述自主合成动作。
• 效果：通过信息瓶颈设计，迫使模型在保持外貌一致的同时，生成真实的肢体运动。

四、 上下文记忆：因果分块生成策略

WorldDirector采用因果分块生成（Causal Chunking）架构，将长视频切割为多个5秒片段（块），依次生成以保证连贯性。

• 上下文记忆（Contextual Memory）：生成新块时，系统从历史帧中挑选最具价值的10帧作为参考。
• 策略一：选取与当前视角重叠度最高的帧，保证背景一致。
• 策略二：选取包含最多动态角色信息的帧，保证对象一致。
• 合并优化：交错合并上述帧，去重并确保间隔至少4帧，形成时间分布均匀的记忆快照。
• 单向注意力遮罩：为防止噪声污染，记忆帧仅能关注自身，不受当前生成帧影响，但当前生成过程可充分参考记忆帧信息。
• 时间编码偏移：记忆帧打上远超训练序列长度的时间偏移量，使模型在频率空间上清晰区分“历史”与“当下”。

五、 空间感知：精准的文字-画面映射

当用户为不同角色指定不同行为（如“女人快步走，跑车慢行”）时，系统需防止语义泄漏。

• 空间感知加权交叉注意力：
• 将画面分解为视觉Token。
• 识别Token所属角色的边界框。
• 加强该角色专属文字描述与其对应区域内Token的关联权重。
• 结果：确保“快步走”仅影响女人，避免跑车出现拟人化运动的荒诞现象。
• 相机运动编码：使用Plücker坐标编码相机内参与外参，并通过自适应归一化层注入模型，使模型始终感知视角变化。

六、 数据构建：游戏引擎合成训练素材

鉴于真实世界中“角色消失后重现”的视频数据稀缺，团队利用游戏引擎构建训练数据集。

1. 场景生成：搭建游戏平台，生成15秒视频，脚本中刻意安排角色进出画面场景，并记录精确摄像机参数与位置。
2. 窗口选取：选取包含最多“新出现对象”的5秒窗口作为训练目标，剩余10秒作为候选池提供上下文。
3. 自动标注：
4. 使用SAM3进行视频目标跟踪与重识别，确保对象消失后再次出现时身份对应准确。
5. 叠加颜色标记，输入Qwen2.5-VL-72B视觉语言模型，生成详细的文字-视频对数据。

七、 实验结果：全面领先的性能表现

团队构建了包含100段未见场景视频的测试集，从像素级重建、主体/背景一致性、动态主体一致性（DSC）等多维度进行评估。

关键指标对比：

定性分析：
在“男人走出画面再返回”的测试中，对比方法（Yume, HY-World, Infinite-World）多让角色静止或身份丢失；LingBot-World外貌退化；HyDRA生成全新人物。唯有WorldDirector准确执行脚本，维持了角色外貌一致性与运动连续性。

注：部分对比方法在VBench静态指标上得分较高，实因画面静止不动所致，缺乏实际动态意义。

八、 消融实验：验证组件必要性

研究团队通过消融实验验证了各模块的关键作用：

1. 移除外貌条件：导致身份严重丢失，重现角色面目全非。
2. 替换为自注意力路由：虽保持颜色风格，但纹理模糊、伪影严重，因MSE损失被静态背景主导。
3. 移除动态上下文：仅保留静态背景记忆，导致重现角色语义相似但身份不符。
4. 移除时间丢弃机制：角色出现“滑翔”效应，动作僵硬，证明稀疏参考对自然运动至关重要。

九、 创新功能：可编程世界事件

WorldDirector支持“可提示世界事件”（Promptable World Events），允许用户在初始画面之外凭空定义新角色。

• 操作方式：在脚本中描述新角色（如“一匹骏马”），设定进入时机与轨迹。
• 执行效果：系统在指定时刻生成该角色，并将其外貌纳入条件池，确保后续出现的一致性。
• 案例：在沙漠场景中，依次自然引入骆驼、卡车和人物，全程维持560帧的一致性。

此外，系统支持灵活的视角切换，如从第三人称跟拍平滑过渡到第一人称独立视角，展现了强大的场景编排能力。

十、 局限性与未来展望

当前局限：
* 域间隔阂：训练数据主要来自游戏引擎，导致生成结果在运动自然度（如走路姿态）和面部细节上略逊于真实视频。
* 未来方向：计划引入真实世界数据集以弥合差距，提升视觉真实感。

技术规格：
* 硬件：64块NVIDIA A100 (80GB) GPU，8个计算节点。
* 优化：全分片数据并行（FSDP）+ 激活检查点。
* 参数：分辨率832×480，帧率16fps，上下文长度10帧，AdamW优化器，总训练耗时约72小时。

总结：
WorldDirector通过解耦“轨迹规划”与“画面渲染”，并辅以精细的外貌绑定与上下文记忆机制，解决了AI视频生成中长期被忽视的身份一致性难题。这一突破对于游戏开发、影视预可视化及虚拟现实等领域的交互式叙事具有深远意义。

Q&A

Q1：WorldDirector与普通AI视频生成模型相比，核心区别是什么？

A：普通模型将位置、运动和外貌混合学习，角色离屏后无法追踪，重现时易变脸或静止。WorldDirector将“运动规划”与“画面渲染”分离：先用LLM规划三维轨迹，再引导视频模型渲染，并通过外貌绑定机制保存视觉特征，确保身份一致性。

Q2：为什么外貌绑定机制要“故意减少”参考图像的频率？

A：若每帧提供完整参考，模型会简单平移图像，导致角色动作如“滑翔”般不自然。时间丢弃机制在前16帧密集参考以锁定外貌，之后每6帧参考一次，迫使模型根据轨迹和语义自主合成动作，从而产生自然的肢体运动。

Q3：WorldDirector能否让初始画面中没有出现过的全新角色出现在视频中？

A：可以。通过“可提示世界事件”功能，用户可在脚本中定义新角色的外观、入场时机和轨迹。系统首次生成该角色后，会将其外貌纳入条件池，确保后续出现时保持一致，实现开放式的世界事件编排。

(责任编辑：时尚)