哈工大与华为联手打造的"多模态魔法师"ILLUME-X

由哈尔滨工业大学、哈工华为诺亚方舟实验室及南开大学联合研发的大华多模前沿成果 ILLUME-X，以预印本形式于 2026 年 6 月 29 日发布于 arXiv 平台（编号：arXiv:2606.30054）。为联该研究旨在突破多模态 AI 在复杂叙事生成中的手打瓶颈，感兴趣的态魔开发者与研究者可通过上述编号检索完整论文源码。

在人类日常交流中，法师“图文穿插”是哈工极其自然的表达方式：菜谱中步骤配图示，绘本中故事配插画，大华多模教程中文字与图片交替引导操作。为联然而，手打对于人工智能而言，态魔这种看似简单的法师“图文交织”却是一道巨大的技术鸿沟。

目前的哈工主流 AI 大多存在“偏科”现象：要么擅长“看图说话”（图像理解），要么擅长“文生图”（图像生成）。大华多模当面对复杂指令——如“生成五章节故事，为联每章配图，且保持人物形象一致、情节连贯”时，绝大多数模型都会陷入逻辑混乱或视觉断裂。ILLUME-X 的诞生，正是为了攻克这一难题，实现自由形式的图文交织生成。它打破了输入输出的顺序限制，无论是先文后图、先图后文还是随意穿插，都能像全能创作者一样，在写作与绘画间无缝切换，保持全局叙事的连贯性。

一、为何“图文同时生成”极具挑战性？

要理解 ILLUME-X 的突破，需先剖析问题的根源。

若将 AI 能力比作厨师技能，现有模型多为“专科厨师”：专精于视觉理解或视觉生成，极少有能自如切换并在同一序列中同时处理文字与图像流的“全能厨师”。

真正的难点在于“穿插”二字。这并非简单的图文堆砌，而是要求 AI 在生成过程中维持一条贯穿始终的“记忆线”：
* 第三张图需记住第一张图中的人物特征；
* 第五段文字需与第三段文字保持逻辑因果。

现有研究主要分为两类：
1. 统一标记法：将文字和图像视为同等“词语”，顺序生成（如 Emu 系列、Chameleon）。
2. 混合架构法：结合扩散模型（图像生成）与大语言模型（文本处理）（如 Transfusion、Show-o、BAGEL）。

然而，上述方法多缺乏系统性评测，且未能在最复杂的“自由形式 N 输入到 M 输出”场景下验证效果。ILLUME-X 填补了这一空白。

二、ILLUME-X 架构：共用大脑的“双眼双手”系统

ILLUME-X 的设计可类比为一个拥有两套感官、一个核心大脑和两套执行机构的智能体：

1. 两套“眼睛”：分层视觉编码

• ViT 编码器（语义之眼）：提取图像的高层语义信息（如“一只橙色的猫坐在椅子上”）。
• VAE 编码器（细节之眼）：捕捉低层视觉细节（如纹理、光影、色彩渐变）。
  两者协同工作，为大脑提供丰富且多维的视觉输入。

2. 共用“大脑”：MoT 架构解码器

核心是一个基于 Transformer 的解码器，采用 MoT（Mixture of Transformers）设计：
* 共享注意力机制：确保文字与图像信息能相互影响、共同理解。
* 独立处理通道：通过不同的 QKV 投影和 FFN（前馈神经网络），避免模态间的信息干扰。
* 稳定性增强模块：
* RMSNorm：稳定信号范围，防止信息失真。
* QK-Norm：稳定梯度，避免训练崩溃。
* SwiGLU：优化神经元激活灵活性。
* RoPE：精确定位序列元素。
* Grouped-Query Attention：优化内存，降低推理压力。

3. 两双“双手”：差异化输出训练

• 文字生成：采用交叉熵损失，确保字词预测的准确性。
• 图像生成：采用整流流（Rectified Flow）均方误差损失，引导模型从噪声中逐步“雕刻”出清晰图像，这是当前高质量图像生成的主流技术。

三、长序列注意力机制：谁可以看谁

在处理长序列时，ILLUME-X 设计了严格的注意力规则，以维持自回归生成的逻辑性：

1. 特殊标记（Boards）：引入 BOI（图像开始）、EOI（图像结束）和 EOS（序列结束）作为章节分隔符。
2. 文字部分（单向注意力）：严格遵循“先来先到”原则，当前位置只能关注之前生成的内容，无法“偷看”未来，保证自回归性质。
3. 图像部分（双向注意力）：在单张图像内部，所有视觉特征可互相关注。因为图像是整体存在的，无需逐像素阅读，这有助于保持单图内部的逻辑一致性。
4. 噪声遮蔽策略：VAE 编码器输出“干净特征”与“加噪特征”。在生成后续内容时，模型仅使用“干净特征”，防止噪声累积导致图像质量退化。

四、多层分类自由引导：告别“傻傻分不清”

传统图像生成使用单一的分类自由引导（CFG）作为“调味旋钮”，调整文字描述的服从度。但在图文交织场景中，条件变得复杂：既有文字描述，又有前序图像的视觉参考。

ILLUME-X 引入了双旋钮引导机制：
* 文字引导系数（$\gamma_{txt}$）：控制图像对文字描述的服从程度。
* 图像引导系数（$\gamma_{img}$）：控制图像对前序参考图像的继承程度（风格与角色一致性）。

训练策略：采用随机丢失策略，在训练时随机移除文字或图像条件，迫使模型适应各种组合。消融实验显示，当 $\gamma_{txt}=8.0$、$\gamma_{img}=1.0$ 时，模型表现最佳。

五、训练菜谱：两阶段“喂”出全能厨师

ILLUME-X 的训练分为两个互补阶段，模拟厨师从专精到融合的过程：

1. 第一阶段：情境内生成训练
2. 目标：基于已有视觉情境生成风格连贯的新图像。
3. 作用：打好基础，缓解“越生成越差”的力竭现象，确保模型在连续生成中保持活力。
4. 第二阶段：图文交织联合训练
5. 数据：混合图像理解、图像生成及图文交织任务数据。
6. 目标：实现跨任务泛化。理解能力促进生成，生成精进反哺理解，形成融会贯通的综合能力。

六、数据制造：三条流水线构建百万级数据集

为解决高质量交织数据稀缺问题，团队自建了约 10 万条高品质样本，通过三条并行流水线生产：

流水线 1：视频“挖金矿”

• 采样：采用多区间滑动窗口（不同时间间隔与窗口大小）批量采样视频帧。
• 筛选：
• 美学筛选：利用拉普拉斯方差、MANIQA 过滤低清帧，使用 Qwen-3-VL-32B 进行高层语义过滤。
• 运动筛选：利用 RAFT 光流算法计算运动量，过滤静态或纯平移帧；利用 DINOv2 过滤视觉冗余帧。
• 标注：使用 Qwen-3-VL-32B 生成三层描述：全局叙事主线、单帧细节、跨帧动态变化。

流水线 2：多步情境内生成

• 规划：由 GPT-5 扮演“导演”，根据种子提示词生成内容蓝图（全局语义、分段文字、图像描述）。
• 迭代生成：首图直接生成，后续图像由 Qwen3-VL-32B 分析相邻图差异，结合前图与差异描述，由 Gemini 3 Pro 生成下一图。
• 结果：形成内容连贯、视觉一致的图像序列及对应文字。

流水线 3：多轮自我反思

• 流程：模型生成初稿 -> Gemini 3 Pro 扮演“评审”指出缺陷 -> 模型多轮修正 -> 保留最优版本。
• 优势：通过“生成-评审-修正”闭环，确保数据的高质量与指令遵循度。

七、ILScore 评估体系：更科学的标尺

现有基准 ISG-Bench严重依赖输出格式，格式偏差即导致评分失真。为此，团队提出 ILScore新评估体系，调用外部多模态大模型从四个维度（1-10 分）进行独立打分：

1. 图文整体准确性：评估整体协调性、逻辑连贯性、需求回应度及创意性。
2. 单张图像准确性：细化至单图质量，包括核心对象、空间关系、色彩细节、清晰度及构图美感。
3. 图像序列准确性：检验跨图一致性，包括角色外貌保持、视觉风格统一。
4. 文字独立准确性：单独评估文字的语言质量（语法、流畅度、逻辑），不依赖图像。

八、实验结果：统一模型的性能跃升

1. 基准测试表现

• ISG-Bench：ILLUME-X 以 6.26的平均分在所有统一模型中排名第一，大幅领先 Show-o (2.33)、Anole (2.81) 等，并与专用系统 ISG-AGENT 打平。这证明了统一模型可达到专用系统级别的性能。
• ILScore：ILLUME-X 以 5.34总分微弱领先开源模型 Emu 3.5 (5.33)，显著优于商业闭源模型 Gemini 3 Pro (4.84)。在风格迁移、3D 场景、图像分解和视觉叙事四类任务中均获最高分。

2. 效率优势

• 参数量：ILLUME-X 采用 7B+7B架构（约 140 亿参数），而 Emu 3.5 为 340 亿参数。
• 速度：ILLUME-X 生成单图仅需 81 秒，而 Emu 3.5 需 410 秒。
• 结论：以不足一半的参数量，实现了更高质且快 5 倍的推理速度。

3. 基础任务能力

• GenEval（语义对齐）：总分 0.85，超越 BAGEL (0.82)、OmniGen2 (0.80)，在颜色识别 (0.92) 和计数 (0.81) 上表现突出。
• DPG-Bench（复杂场景）：总分 86.38，排名第一，在属性准确性 (94.08) 和实体识别 (91.80) 上领先。

4. 局限性

当前训练与评测分辨率固定在 512 像素。受限于架构与上下文长度，扩展至 1024 像素及以上的高分辨率图文交织生成仍是待解难题。

九、思维链（CoT）：让生成更聪明

消融实验显示，引入思维链推理（CoT）能显著提升生成质量：
* 机制：模型在生成图像前，先用自然语言描述场景、人物状态及氛围（“先想后做”）。
* 效果：
* 视觉叙事任务得分从 7.12 升至 7.28。
* 图文补全任务得分从 5.69 升至 5.91。
* 案例：在烹饪教程中，CoT 支持下的模型能清晰区分步骤关键视觉变化，避免步骤混淆或图文脱节。

总结

ILLUME-X 将 AI 从“单科优秀”推向“全科均衡”，证明了在统一框架内，理解与创作可共存并互益，文字与图像可自由穿插，长序列生成可保持连贯。其约 140 亿参数的轻量化设计，在工程实践上具有重要意义。

尽管 512 像素分辨率是当前约束，但作为该方向系统性最完整的研究之一，ILLUME-X 已完成里程碑式验证。未来，随着架构与训练策略的演进，处理更高清晰度与更长叙事序列将成为可能。

延伸阅读：
* 完整论文：arXiv:2606.30054
* 代码与数据：访问论文提供的 GitHub 仓库

Q&A

Q1：ILLUME-X 和普通的图像生成 AI（比如 Stable Diffusion）有什么区别？

A：普通图像生成 AI（如 Stable Diffusion）是“单向、单输出”模型，仅根据文字生成单张图像。ILLUME-X 的核心区别在于“多输入多输出、图文自由穿插”。它能同时处理多张输入图像和多段文字，交替生成内容。例如，输入一张蚂蚁图和故事开头，它能创作五个章节，每章配图，且保持蚂蚁形象与风格的跨图一致性。

Q2：ILLUME-X 训练用的 10 万条数据集是从哪里来的？

A：团队通过三条并行流水线自建数据：
1. 视频提取：从视频中采样关键帧，经美学与运动筛选后，由大模型生成多层次文字描述。
2. 合成序列：由 GPT-5 规划蓝图，Gemini 3 Pro 逐步生成连续图像序列，形成连贯的图文对。
3. 迭代精修：模型生成初稿，Gemini 3 Pro 担任“评审”进行多轮修正，确保高质量。
这三条流水线覆盖了真实视频、合成序列和人工精修，保证了数据的多样性与高质量。

Q3：ILScore 和 ISG-Bench 这两种评测方法有什么本质区别？

A：
* ISG-Bench：现有常用基准，但评分严重依赖输出格式是否符合预设模板。格式偏差易导致评分失效，客观性不足。
* ILScore：新提出的评估体系，通过外部多模态大模型从四个独立维度（整体一致性、单图质量、序列连贯性、文字质量）打分。各维度独立评估，不受输出格式影响，能更全面、稳健地反映模型真实能力。

(责任编辑：知识)