香港大学联合多所顶尖机构，为AI视频世界模型装上了"记忆大脑"

2026-07-17 04:35:01 [综合] 来源：德瑞斯资讯网

这项由香港大学、香港型装复旦大学、大学多所顶尖浙江大学与快手科技联合开展的联合前沿研究，以预印本形式于2026年6月30日发布于arXiv平台，机构界模论文编号为 arXiv:2606.31734。视上记感兴趣的频世研究者可通过该编号获取完整论文详情。

你是香港型装否经历过这样的尴尬：与朋友交谈甚欢，却发现对方已完全遗忘五分钟前说过的大学多所顶尖话，甚至重复讲述同一件事？联合这种体验令人沮丧。如今，机构界模AI在“拍电影”时也面临着同样的视上记困境——它能精彩地开启故事，却在长视频生成中逐渐“失忆”，频世导致场景拼凑、香港型装逻辑断裂、大学多所顶尖前后矛盾。联合

针对这一“AI失忆症”，来自上述四家机构的团队开发了名为 MemLearner的创新解决方案。其核心理念在于：摒弃僵化的“记忆清单规则”，转而赋予AI自主决定“记住什么”及“何时调用记忆”的能力。这正如“死记硬背者”与“理解上下文者”的区别——前者机械执行规则，后者基于深层理解灵活应对。

一、什么是“视频世界模型”？

要理解MemLearner的价值，首先需厘清视频世界模型（Video World Models）的概念。

以开放世界游戏为例：引擎根据玩家的操作（左移、右看、跳跃）实时渲染画面。视频世界模型遵循相同逻辑，但并非基于硬编码规则，而是由海量真实视频训练而成的AI系统。用户输入摄像机运动指令，模型即生成对应视频，模拟真实世界的漫步体验。

此类技术潜力巨大，可应用于游戏场景构建、影视制作、机器人训练及虚拟现实底层引擎。研究人员将其定义为“交互式视频生成模型”，强调用户可通过动作指令与生成的视频世界进行实时互动。

然而，随着生成时长增加，“视野限制”成为瓶颈。AI仅能关注近期画面，对早期场景的记忆逐渐模糊。当摄像机绕回原点时，AI因遗忘初始场景特征而临时发挥，导致画面与前期严重不符。这种“场景一致性（Scene Consistency）”缺失，正是本论文致力攻克的核心难题。

二、现有方案的局限性

此前，学界尝试了多种解决AI“失忆”的方案，但均存在明显短板：

3D重建记忆：将已见场景重建为三维模型，后续通过渲染参考视角。
缺陷：3D重建易出错，且难以处理动态物体（如行走的人、摇尾的狗）。
特征压缩记忆：将历史内容压缩为抽象特征码（类似关键词提取）。
缺陷：存储高效但信息损失大，细节易丢失。
关键帧记忆（Keyframe Memory）：从历史视频中挑选代表性帧作为参考。
缺陷：核心难点在于“如何挑选”。

主流挑帧依赖固定规则，如基于摄像机视野重叠度（FOV）或点云空间距离。这些规则在简单场景中有效，但在复杂环境下暴露致命弱点：

遮挡问题：若摄像机绕过墙壁，基于方向相似性的规则可能选中被遮挡的帧，导致参考信息完全错误。
动态物体追踪失效：游荡的狗位置不断变化，静态空间规则无法正确追踪其轨迹。
缺乏自适应能力：人为写死的规则无法随场景复杂度自动调整。

三、 MemLearner的核心机制：让AI自主“决策”

MemLearner从根本上重构了解题思路：不再预设规则，而是通过训练让AI自主学习哪些历史信息对当前生成最有益。

1. “查询令牌”（Query Token）机制

研究团队引入查询令牌概念，类比图书馆借阅流程：

作家（P令牌/Predicted Token）：负责生成当前视频帧。
素材库（C令牌/Context Token）：存储历史视频帧。
助理（Q令牌/Query Token）：连接历史与当前的桥梁。

工作流程：
1. Q令牌首先观察P令牌（当前生成需求），理解“需要什么风格的信息”。
2. 基于此需求，Q令牌检索C令牌（历史上下文），提取真正有用的资料。
3. P令牌参考Q令牌提取的信息，完成最终生成。

2. 端到端自适应学习

该机制通过端到端训练实现：AI无需人工标注“此时应查第几帧”，仅通过生成视频的误差信号反向传播，自动优化查询策略。这种自适应记忆提取能力，使AI能像人类一样，根据上下文动态调整记忆调用方式。

四、设计弯路：为何放弃“独立查询模块”？

团队曾尝试一种直觉方案：单独训练一个查询模块，提取信息后传给视频生成模型。然而实验结果令人震惊：

查询失效：注意力可视化显示，独立模块的Q令牌与C令牌相似度接近零，模块并未真正读取历史帧，仅输出无意义信号。
模型退化：视频生成模型因接收无效输入，逐渐忽略该模块，退化为普通文本生成视频模型，丧失记忆能力。

关键洞察：从零训练新模块以学习视觉查询极难，因为缺乏“正确查询”的明确监督信号。

正确路径：直接利用预训练视频生成模型本身进行查询。模型已具备丰富的视觉理解能力，将Q令牌、C令牌、P令牌共同输入同一模型，利用其自注意力机制（Self-Attention）自然建立联系，效果显著优于独立模块。

五、两大效率优化策略

将所有历史帧输入模型虽理论完美，但计算量随帧数线性增长，难以落地。团队提出两项优化：

1. 浅层查询，深层生成

将28层扩散变换器模型分为两段：
* 前5层（浅层/查询层）：Q令牌从C令牌和P令牌中提取信息。
* 后23层（深层/生成层）：仅处理Q令牌和P令牌，C令牌不再参与。

逻辑：记忆提取类似“编码”，计算量小；创作生成是核心，计算量大。实验证实，5层已足够有效提取记忆，增加层数收益递减且拖慢速度。

2. 精简注意力计算

分析注意力交互必要性，删除冗余计算，仅保留三种核心交互：
1. Q → P：Q令牌向P令牌提问，明确当前生成需求。
2. Q → C：Q令牌向C令牌提问，从历史帧提取信息。
3. P → (P, Q)：P令牌向自身及Q令牌提问，生成时参考同伴与查询结果。

关键设计：C令牌不作为提问者。历史帧仅需被查询，无需主动发起交互，进一步降低计算开销。

六、专为复杂场景打造的训练数据集

现有数据集无法同时满足MemLearner的训练需求：
* YouTube视频：内容丰富，但缺乏精确摄像机位姿标注。
* 游戏引擎渲染数据：标注精确，但缺乏遮挡关系和动态物体。

团队在虚幻引擎中构建了专属采集流程：
* 场景设计：涵盖街道、购物中心、乡村、室内外等13种风格场景。
* 动态元素：加入人类、狗、骆驼、马等动态角色。
* 自动化采集：编写脚本让摄像机自主漫游、避障，记录每帧位姿。
* 数据规模：100段长视频，13个场景，平均每段超18,000帧，总计16.7小时。

混合训练策略：
* 针对三类数据（精确渲染、真实估算、无标注真实视频），分别配备专属摄像机编码器。
* 无标注数据使用零参数编码器，避免低质量标注干扰高精度数据。
* 模型从不同来源数据中各取所长，提升鲁棒性。

七、实验结果：数据与案例的双重验证

团队在多个数据集上进行了全面评估：
1. 自建复杂场景数据集（含遮挡、动态物体）。
2. 无遮挡/无动态数据集。
3. 真实世界SpatialVID数据集。

评估指标

地面真值对比：生成画面与真实视频的相似度。
重访对比：摄像机离开并返回同一地点时，画面的一致性（更贴近实际应用）。

对比方法

DFoT：无记忆长视频生成模型。
FramePack：压缩历史帧保留有限记忆。
VMem：基于点云规则检索。
CaM (Context-as-Memory)：基于视野重叠规则检索。
独立查询模块：团队放弃的方案。

核心结果

复杂场景优势：MemLearner在所有指标上领先。
PSNR（越高越好）：MemLearner 21.23vs CaM 19.85。
LPIPS（越低越好）：MemLearner 0.2904vs CaM 0.3475。
FVD（视频生成质量）：MemLearner同样领先。
独立模块失败验证：独立查询模块PSNR仅9.16，甚至低于无记忆的DFoT（16.98），证实独立模块无法有效学习。
简单场景表现：在无遮挡简单场景中，MemLearner（20.35）与CaM（20.22）成绩接近，说明规则方法在简单场景仍有效，但复杂场景下学习方法优势显著。
零样本迁移：在未见过的Epic-Kitchens厨房数据集上，MemLearner仍优于同类方法，证明其记忆机制具有通用性。

八、消融实验：关键设计验证

团队通过消融实验验证了各设计选择的必要性：

查询令牌初始化：随机噪声 vs 带噪声的P令牌副本，两者表现无显著差异。证明Q令牌通过注意力从P令牌学习需求，而非依赖初始值。
摄像机位姿注入：仅给P令牌注入位姿，不给C/Q令牌注入，记忆能力未明显下降。表明模型能从纯视觉信息中隐式理解空间几何，无需手动提供3D坐标。
注意力交互必要性：删除“Q→P”交互（即Q不先理解需求），PSNR从21.23暴跌至17.27。证实“先理解需求，再查询信息”的两步逻辑至关重要。
预训练+微调 vs 端到端：尝试先预训练查询模块（L1损失）再联合微调，PSNR仅16.56，远逊于端到端MemLearner。再次印证端到端学习的优越性：误差信号自然反向传播至查询机制，无需人为设计中间监督。